投稿元：
レビューを見る
「もし私たちサピエンスが真に賢いのなら、なぜこれほど自滅的ことをするのか？」。人類の革命の歴史を情報とネクサス（つながり）の観点から、印刷技術のへつ名から生成AIの登場まで描くビッグヒストリー。情報を真実を映すものと、秩序をもたらすものとに分類して考え、その上で情報ネットワークの自己修正メカニズムの重要性について説いている。これまでの著作の思想を受け継ぎながらこれからのAI時代の展望を冷静に描きつつ、その上で一筋の光を見つけ出している。
投稿元：
レビューを見る
● 2025年3月7日、母と新宿 紀伊国屋にあった。フロアに何箇所も平積みされてて大々的に売り出してる。帯に「サピエンス全史を超える衝撃」とある。中身はそれなりに難しいので、こんなのが読めたらいいね本。→紀伊国屋1階の入口の1番外の風があたる正面の手前にこの本が売り出されていた。
投稿元：
レビューを見る
【感想】
ユヴァル・ノア・ハラリ著、『NEXUS』の下巻。本書では、上巻で触れられていた不可謬性や民主主義と社会主義のあり方などについて、AIが発達した「未来」に時間軸を移したうえで、再度考察を行っていく。上巻では、「情報」という観点から過去に起きた事件・出来事を振り返るという作業を行ったが、下巻ではそれらを軸にしつつ、「AIが社会や政治の決定権を左右するようになる未来」について類推を巡らせていく、といったような構成になっている。
もしAIが人間の意思決定を握るようになると、実際どのような危険が起こり得るのか？そもそも人間でさえ判断を誤りがちで、かつ時間が大量にかかるのだから、単純にAIは人間の上位互換なのではないか？
だが、AIは人間には無い特有の問題を抱えている。その一つが「アラインメント（一致）問題」だ。
アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。AIにとってのアラインメント問題とは、開発者やそれを利用する人々の意図・価値観に沿わない形でプログラムが実行されることである。
例えば、フェイスブックに組み込まれているAIの目的は、ユーザーエンゲージメントを最大化することだ。それを達成するために、ユーザーにとって興味のある(と思われる)投稿や広告を自動でレコメンドする機能を備えているのだが、AIが目的を追求しすぎるあまり、少数民族の排斥や人種差別といった、過激なポストをオススメするようになった。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいからだ。主目的を狭義に捉えすぎた結果、それを達成するための行動が引き起こす倫理的問題について何も考えなかったのである。
もちろん、アライメント問題は人間でも引き起こし得る。しかしながら、人間にとって「どの行動が良くて、どれが悪いか」は比較的自明である。人々の命と広告収入のどちらが大切かなんて、人間は考えなくても分かる。しかし、AI自身は、その善悪の判断がつかない。さらに、AIは目標を正確に定義してもらわなければゴールが分からないが、主目的を達成しつつ適切な条件付けを重ね続けるのはキリが無い。
こうしたAIならではの問題が、人間と共生していくうえでの未来を不安定なものとしているのだ。
――私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。それは私たちが、人間の創造性に関してつねに抱えてきたものと同じ問題だ。
―――――――――――――――――――――――――
下巻の感想だが、上巻に比べて論旨が明快で、格段に読みやすくなっている。上巻では歴史上の出来事の深掘りに注力しすぎて本全体のテンポが悪くなっている印象があったが、下巻ではそうしたことはなかった。
AIとコンピューター社会の問題点、未来に起こり得る危険性など、過去を軸にテーマを広げていき、面で考察していくやり方の上手さはさすがハラリと言ったところ。
テーマが今ホットなAIということもあり、5～10年後の近未来も射程��収めている。これから本格化するAI社会における指針となりうる一冊だと思う。ぜひオススメだ。
上巻の感想
https://booklog.jp/users/suibyoalche/archives/1/4309229433
―――――――――――――――――――――――――
【まとめ】
１ コンピューターに責任はあるのか？
コンピューターは、2つの驚くべきことをやってのける可能性を持っている。自ら決定を下すことと、自ら新しい考えを生み出すことだ。
コンピューターは印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに凌ぐ。粘土板は税についての情報を保存したが、どれだけの税を徴収するかを自ら決めることはできなかったし、まったく新しい税を考え出すこともできなかった。印刷機は聖書などの情報を複製したが、聖書にどの巻を含めるかを決めることはできなかったし、聖書についての新しい注釈を書くこともできなかった。
一方、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつある。フェイスブックのアルゴリズムによってフェイクニュースや陰謀論が拡散し、政治的動乱や民族浄化の引き金となったケースは後を絶たない。いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう。
しかし、アルゴリズムに責任はあるのか？プロパガンダを垂れ流すラジオに「ツール」としての責任は無いように、アルゴリズムはあくまでテクノロジーとしてそこに存在しているだけではないのか？
それは違う。ユーザーのニュースフィードのトップに何を載せるかや、どのコンテンツを推奨するかをユーザーに薦めるのは、アルゴリズムが決めているからだ。フェイスブックのビジネスモデルは「ユーザーエンゲージメント」を最大化させるところを拠り所としている。それに従い、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した。
フェイスブックやYouTubeといった巨大テクノロジー企業は、問題の責任を自社のアルゴリズムから「人間の本性」へと転嫁する。彼らは、自社のテクノロジーがいくつもの国で排斥や扇動を引き起こしたことについて、人間だけが問題のいっさいを引き起こし、アルゴリズムはもっぱらその本性に悪用されているだけだ、と主張する。
だが、そんなはずはない。すでに2016年には、フェイスブックの内部報告で突き止められているように、「過激派のグループへの全参加者数の64パーセントは、当社のレコメンデーションツールに帰せられる。（略）当社のレコメンデーションシステムは、その問題を助長している」ことが分かっている。また、ビジネス上の理由から意図的に邪悪なコンテンツを推奨している、ということも判明している。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいのだ。
コンピューターが出来たことで、情報ネットワークのあり方はどう変わったのか？
一番の大きな転換は、コンピューター同士で連鎖が可能となったことだ。コンピューターができるまでの連鎖は、文書を人間が読み、それをまた文書化し、というように人間の介在が必要不可欠だった。
それに引き換え、コンピューターは人間の介在を必要としない。コンピューターがとあ���ニュースを政治危機の始まりだと推定し、危険な株式を売却する。その金融取引を監視しているコンピューターがさらに株式を売却し、それが金融危機の発端となる。このいっさいが、人間が把握できないほんの数秒の間に起こりうるのだ。
さらには、コンピューターはAIベースの聖典を作ることも可能になるかもしれない。Qアノン現象のように、オンラインに投稿された一つの記事が――それが嘘で塗り固められていても――世界中で多大な影響を及ぼすことがある。ならば、自らに対してキュレーションを行うことができるAIは、インターネットを舞台に新たな聖典を書き広めることが可能となる。
これから、全く新しい情報ネットワークが登場する。そのネットワークには、2つの新しい種類の連鎖がしだいに増えていく。
その第一がコンピューターと人間の連鎖である。コンピューターが人間同士を仲介し、ときには人間を制御する。
第二が、コンピューターどうしが自力で関わり合う、コンピューターとコンピューターの連差だ。人間はそのような連鎖からは排除され、連鎖の内部で何が起こっているのか理解することさえ困難になる。
２ アライメント問題
私たちは、主要な歴史的プロセスが部分的には人間以外の知能の下す決定に起因するという、歴史の転機に差し掛かっている。だからこそ、コンピューターネットワークの可謬性が非常に重要な問題となっているのだ。
ソーシャルメディアの巨大企業は、真実を語ることに報いるような自己修正メカニズムに投資する代わりに、嘘や虚構に報いる前代未聞のエラー強化メカニズムを開発した。そのようなエラー強化メカニズムの一つが、フェイスブックが2016年にミャンマーに投入した「インスタント記事」というプログラムだ。フェイスブックはエンゲージメントを増やすことを望んで、ニュース媒体に、クリックや閲覧の回数を判断基準として、どれだけユーザーエンゲージメントを生み出せたかに応じて報酬を払った。このとき「ニュース」が真実かどうかは、まったく重視しなかった。その結果、インスタント記事のプログラムが導入される前の2015年には、ミャンマーでフェイスブックの上位10のウェブサイトのうち6つが「正当なメディア」のものだったが、導入後の2018年には、上位10のウェブサイト全てがフェイクニュースとクリックベイトのウェブサイトとなっていた。
コンピューターが起こす過ちのうち、ユーザーエンゲージメントの優先よりもはるかに大きな問題がある。それは「アラインメント（一致）問題」である。
アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。歴史上、戦争において勝利を収めても、それが政治的目標に合致しなかったために、長期的に見て悲劇的な崩壊を巻き起こしたケースがいくつもあった。アメリカによる2003年のイラク侵攻がその一つだ。アメリカは主要な戦闘のすべてで勝利を収めたが、イラクに友好的な政権を樹立することにも、中東に好ましい地政学的秩序を打ち立てることにも失敗した。
AIでも、そうしたアラインメント問題が起こり得る。コンピューターは、ユーチューブのトラフィックを1日当たり10億時間に増やすといった具体的な目標を与えられると、自らの力と創意工夫でその目標を達成する。しかし、コンピューターは人間とは機能の仕方がまったく違うので、コンピューターを支配している人間が予期していなかったような方法を使う可能性が高い。そして、もともと人間が定めた目標と一致しない結果になることも考えられる。フェイスブックとYouTubeのアルゴリズムは、ユーザーエンゲージメントを最大化するよう命じられたとき、社会的な宇宙全体をユーザーエンゲージメントに変えようとした。結果、ミャンマーという国をズタズタに引き裂いた。
アラインメント問題がコンピューターの場合にいっそう切迫しうるのは、AIにとっては善悪の判断がつかず、アルゴリズム自身が警鐘を鳴らさないことだ。人間であれば、ユーザーエンゲージメントとミャンマーの国民のどちらが大切かを言われるまでもなく判断できる。しかし、AI自身には、目標を正確に定義してもらわなければ適切な方法が分からない。
だが、私たちはどうやってコンピューターに、決して無視しても覆してもいけない最終目標を与えることができるだろうか？かつてそれは神話に設定を任せてきた。人間の善悪の判断の由来も、元を辿れば神話や物語に行き着く。しかし、コンピューターには意識がなく、どんな神話も信じることができないのではないか？
ところが、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。人間が16世紀から20世紀にかけて、人々を人種で区別し、誰を奴隷にすることができるかや公職に就けるかを定めたように、コンピューターは、徴税や医療から治安や司法まで、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。中国の「社会信用システム」で既に導入されているように。そしてそれは、人と紙の世界よりも格段に効率的にレッテルを貼り定着させることができる。そうしたコンピューター間現実はやがて、人間が創出した共同主観的神話と同じぐらい強力に――そして危険に――なるかもしれない。
新しいコンピューターネットワークは、悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。したがって私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。この問題にはテクノロジー上の解決策はない。むしろそれは、政治的な課題だ。
３ 民主主義社会の絶対条件
民主主義体制は参加者の間での話し合いの上に成り立つが、テクノロジーが発達する前は、せいぜい都市国家の規模でしか機能しなかった。だが、近代以降に情報テクノロジーが進歩したおかげで、何百万単位での民主主義体制が可能となった。
その一方で、民主主義が発達して人権や公民権を尊重し、多様性を認め、包摂性を重視する社会では、話し合いの参加者が急増し、新しい考え方や意見や利害関係が持ち込まれ、合意の形成や秩序の維持が難しくなる。1960年代に西側社会は政治絡みの騒乱や暴力の嵐を乗り越えたが、さらにテクノロジーが進化して、フェイクニュースや陰謀論がソーシャルメディアで氾濫し、人間の言語を人間よりうまく使いこなすAIが人間になりすますと、話し合いが成り立たなくなる。そこにポピュリストがつけ込み、強権的な支配を目指し、裁判所やマスコミ、議会などの自己修正メカニズムを取り除けば、全体主義体制が敷かれかねない。
コンピューターとともに民主主義を歩むのにあたって、社会が従うべき基本原則がいくつかある。
第一の原則は「善意」だ。コンピューターネットワークが私についての情報を集めるとき、その情報は私を操作するのではなく助けるために使われるべきだ。巨大テクノロジー企業から社会的つながりや娯楽を無料で提供してもらえるからといって、それと引き換えに個人的なデータの支配権を差し出すようなことがあってはならない。
第二の原則は「分散化」だ。すべての情報が一か所に集中するのを決して許すべきではない。国の医療データベースを、警察や銀行や保険会社のデータベースと合併させると、仕事がより効率的になるかもしれないが、全体主義への道をいともたやすく招きかねない。
第三の原則は「相互性」だ。もし民主社会が個人の監視を強めるのなら、同時に政府や企業の監視も強めなければならない。
第四の原則は、監視システムに「変化と休止」の両方の余地を残すことだ。強力なテクノロジーを使う社会は、過度な過密さと過度な順応性の両方に用心する必要がある。人間の身体は不変の物質の塊ではなく、絶えず成長したり、衰えたり、適応したりしている複雑な有機的システムだ。アルゴリズムは、人間に対して厳密すぎてはいけない。
もしアルゴリズムが社会や政治的決定を判断するようになると、その先にあるのは「誰にも説明できない」という事態だ。
AlphaGoを開発したスレイマンは、AIが選択した指し手の意図を説明することができなかった。彼はAIについて次のように語っている。「AIの場合、自律性へと向かっているニューラルネットワークは、現時点で説明不可能だ。意思決定のプロセスをたどりながら、アルゴリズムが特定の予測をした正確な理由を説明することはできない。エンジニアは、アルゴリズムの中を覗き込んで、物事が起こった理由を簡単にこまごまと説明することはできない。GPT-4やAlphaGoやそれ以外のAIもブラックボックスであり、それらのアウトプットや決定は、微細なシグナルの、不透明でとんでもなく錯綜した連鎖に基づいている」
人知を超えたエイリアン・インテリジェンスの台頭は、民主主義を切り崩す。人々の生活に関する決定がますます多くブラックボックスの中で下され、有権者が理解したり、異議を申し立てたりすることができなければ、民主主義は機能しなくなる。特に、個人の生活についてだけではなく、連邦準備制度理事会(FRB)の政策金利のような、社会全体にかかわるようなきわめて重要な決定までもが、人知を超えたアルゴリズムによって下されるようになったときには、何が起こるのか？そして、アルゴリズムがどのように機能しているかを見破れるものがいなくなったたら、どうやって公正なアルゴリズムを創り出すことができるのか？
４ AIは全体主義社会にどのような影響を与えるか？
前近代の各時代に利用できた情報テクノロジーには限りがあったので、大規模な民主主���体制と大規模な全体主義体制は両方とも機能し得なかった。現代に入ると情報テクノロジー自体は進化したが、全体主義においては中央に流れる情報が増えすぎてそれを処理するのが難しくなり、自己修正メカニズムも機能していなかったため、民主主義体制に後れを取ることとなった。
AIは部分的には全体主義体制と親和性がある。AIは情報の集中と一か所での意思決定を好むからだ。
しかし、権威主義や全体主義の政権は、AIに関して独自の問題を抱えている。まず何をおいても、独裁社会は非有機的な行動主体を制御する経験を欠いている。あらゆる独裁情報ネットワークの基盤は恐怖だ。だが、コンピューターは投獄されることも殺されることも恐れない。ロシア政府に使われるAIが、「言論の自由」というロシアの核心的な価値観を侵害しているとしてプーチン政権を批判しても、AIは矛盾に気づかないし、エンジニアはAIに「正しい考え方」を説明することができない。
長期的には、全体主義はAIに支配権を奪い取られる危険性も孕んでいる。
アメリカのような分散型の民主主義体制の中で権力を奪うのは、素晴らしく権謀術数に長けたAIにとってさえ難しいはずだ。AIはたとえアメリカの大統領の操り方を学習したとしても、連邦議会や最高裁判所、各州の知事、メディア、大手企業、さまざまなNGOからの反対に直面しかねない。
それに比べると、高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ。あらゆる権力が一人の人間の手に集中しているときには、その独裁者へのアクセスを支配している人なら誰であれ、その独裁者を――そして、国家全体も――支配することができる。そのような体制をハッキングするには、たった一人の操作の仕方を学習するだけでいい。もし、絶対的な権力者が操るAIが、その権力者も処理しきれないほどの情報を収集し、理解できない方法で判断を委ねてきたとする。もしAIに従えば、権力を事実上AIに譲り渡して傀儡になり下がることになる。
５ シリコンのカーテン
人類の文明を脅かしているのは、原子爆弾のような物理的な大量破壊兵器や、ウイルスのような生物的な大量破壊兵器だけではない。私たちの絆を損なう物語のような、社会的な大量破壊兵器によっても、人類の文明は崩壊しうる。ある国で開発されたAIが、他の多くの国々で人々が何一つ、誰一人信じられなくなるようにするために、フェイクニュースや偽造貨幣や偽造人間の洪水を引き起こすのに使われる可能性がある。
多くの社会――民主社会と独裁社会の両方――は、適切な行動を取ってAIのそのような使い方を規制したり、悪人を取り締まったり、自分たちの支配者や狂信者の危険な野心を抑えたりするかもしれない。だが、世界がグローバルな網でつながっている今、ほんの一部の社会がそうしそこねただけで、人類全体が危機に陥りかねない。
では、新しい技術の台頭によって、国際政治のあり方はどう変わるのか？
第一に、コンピューターのおかげで情報と権力を中央の拠点に集中しやすくなるので、人類は新しい帝国主義の時代に入る可能性がある。
第二に、人類はライバルのデジタル帝国どうしの境に下ろされた新しいシリコンのカーテンに沿って分断されかねない。それぞれ���政権は、AIのアラインメント問題や独裁者のジレンマや、その他のテクノロジー上の難題に対して独自の答えを選ぶので、互いに別個の、非常に異なるコンピューターネットワークを作り出すかもしれない。この状態では、AIの危険な力を規制するための協力関係は構築できないだろう。
また、世界中のデータを集めているいくつかの企業あるいは政府は、地球上の残りの部分をデータ植民地（情報で支配する領土）に変えることができる。
例えば20年後に、北京かサンフランシスコにいる誰かが、あなたの国の政治家やジャーナリスト、軍幹部、CEO全員の個人情報を漏れなく把握している。彼らが送ったメールも、行なったウェブ検索も、かかった病気も、楽しんだ性的な経験も、口にしたジョークも、受け取った賄賂も一つ残らず知っている。その場合には、あなたは依然として独立国に住んでいるのだろうか？それとも、今やデータ植民地に暮らしていることになるのだろうか？あなたの国が、デジタルインフラとAIを活用したシステムに完全に依存しながら、それらを実質的に支配できない状態に陥ったら、どうなるのか？
そのような状況は、データを制御することで彼方の植民地を支配する、新しい種類のデータ植民地主義につながりうる。AIとデータを駆使する能力を身につけた新しい帝国は、人々の注意も制御することができる。フェイスブックがミャンマーの政治を変えたように、未来のデジタル帝国は、政治的利益のために同じような行動に出るかもしれない。また、植民地から吸い上げられた運転データや医療データを使って、植民地の経済を効率よく支配するためのアルゴリズムが開発されるかもしれない。AI主導の経済では、デジタル分野のリーダーたちが利益の大半を懐にするが、植民地の単純労働者には分配されることはない。
今や世界は、シリコンのカーテンによる分断が進んでいる。中国とアメリカの間では、シリコンのカーテンを越えて情報にアクセスすることは難しくなっている。そのうえ、カーテンの両側がそれぞれ異なるコンピューターコードを使い、別のデジタルネットワークによって動いていることが増えている。
今後、情報ネットワークは網（ウェブ）ではなく繭（コクーン）になり、人類を分断するかもしれない。世界が別個の情報のコクーンへと分断されれば、経済的な競争や国際的な緊張につながるだけではなく、大きく異なる文化やイデオロギーやアイデンティティも発展しうる。だが、もし世界が競合する2つのデジタルコクーンに分裂したなら、一方のコクーンにおける存在のアイデンティティは、もう一方のコクーンの住民には理解できないかもしれない。そうなれば、生態系の崩壊や制御不能のテクノロジーといった、グローバルな問題に対する協力関係は構築できないだろう。
幸い私たちは、危険に気づかないまま自己満悦したり、やみくもに絶望したりするのを避ければ、自らの力を抑制し続けられるような、バランスの取れた情報ネットワークを創出することができる。より賢いネットワークを創り出すには、むしろ、情報についての素朴な見方とポピュリズムの見方の両方を捨て、不可謬という幻想を脇に押しやり、強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な���事に熱心に取り組まなければならない。それがおそらく、本書が提供できる最も重要な教訓だろう。
投稿元：
レビューを見る
ハラリのAI革命についての著作ということで期待して早速購読。一言で言えば、有益であるが、これまでの著作の延長であり、予想の範囲内であった。
上巻は情報という観点から見て、これまでの人類の歴史を整理。物語、文字、文書の歴史に与えた位置付けがわかりやすい。
ハラリの観点は、文字や印刷などの技術的進歩を評価するのでなく、それが不可謬なものに結びつくか、可謬という前提なのかを大きな問題としている。
技術の進歩が大きな惨事につながる例として、印刷術と魔女狩りの広がりや十字軍、ラジオと全体主義をあげているのはわかりやすい。
下巻は上巻の歴史を踏まえて、今後のAI革命の行方を考察している。時間がなければ下巻だけでも面白い。
自らも書いているが、AIの懸念されることが主に書かれており、読後は暗い気持ちになるかもしれないが、どれも頷ける指摘だ。
すでにその兆候は見えているが、技術の進歩と休みのない監視と個人情報の収集が蓄積されれば何が起こるかをわかりやすく描写する。
こうすればいいという回答はなく、AIの良い点だけを生かせるように、早急に自己修正メカニズムを構築する必要が訴えられる。
読後の感想は、AIの進化は最良の場合で人類の慈母となるものだが、それ以前にAIの各国の競争の中で大惨禍を生む確率が高いのではないかと思った。
そもそも我が国はプレイヤーになれるのかも危ういが、個人としては能天気にAIを使うだけでなく、その危険性の認識と自分のプライバシーの保護を考える必要があるだろう。
投稿元：
レビューを見る
AIが支配するディストピア未来予想図
いや、未来ではなくもう既に今の世界にもその一端を感じてしまう
このディストピアを、現代社会の知性であるハラリが書いた意味は大きい
この本によって世界は良い方向に舵を切るのか…
投稿元：
レビューを見る
サピエンス全史と、ホモデウスで話題を作ったイスラエル出身の同性愛者、ユヴァル・ノア・ハラリ氏がAIの行末について非常に明快な書き振りで仕上げた一冊。同氏の文章を読んでいて思うのは、訳者が素晴らしいからなのかもしれないが、難しく固く難解なことを言っているものの、非常にわかりやすく、素人でも引き込まれる文章を書いてくれることだ。民主主義が持っているような自己修正メカニズムをAIが台頭する今後の社会でも、AI支配社会の中でも構築していくことが欠かせない。これからは、データを作るものと、フォローするものの、情報、認知の拡散が生まれ、アメリカや中国といったAIによってアルゴリズムを作りシステムを支配するものと、システムに飲み込まれ身動きが取れなくなるものとの間に分かれ、シリコンのカーテンなるものに阻まれるかもしれない。更にこれからは、AIが虚構を作る。すなわち、文化を作り出すようになる。それを制御できなくなった時に、AIを操る人たちによるデータ帝国主義が完成するのではないかとハラリは言う。重要なのは、あくまで互酬性を担保し、AIを操る人も、操られている人たちと同じように監視下に置くべきだと言うことだ。そうでなければ、スターリンも青ざめる全体主義国家が誕生してもおかしくない。官僚機構で成り立つ現代文明であるが、AIも情報を効果的に分散させると言う意味では、人類に有用なパートナーとできる未来は存分にある。
投稿元：
レビューを見る
ハラリ大先生の新刊、ちょっと面白すぎた。
『サピエンス全史』にも通じる「情報史」を綴った内容で、歴史を振り返るのが前半、未来を語るのが後半という構成。そして、これからの情報史を語る上で避けて通れない主題が——やっぱりAIだ。
つまり、AIによってもたらされる課題を、人類史（情報史）の観点から予測するというアプローチ。
「情報」というものが人類史の中でどう扱われ、どう伝達されてきたかを振り返り、その土台の上でAIのインパクトと向き合う。
まさに、「賢者は歴史に学ぶ」ってやつ。
AIがもたらす未来、と言っても「仕事が奪われる／奪われない」みたいな話ではなく、もっとスケールがでかい。
「人類という種が、これからどうなっていくのか？」って話。
人類は、「同じ幻想を共有できる」という超特殊な社会性によって繁栄してきた。
そこから生まれたのが「民主主義」と「全体主義」。
どちらも、全人類に同じ幻想を見せるには至らず、未完成で課題だらけ。
そしてその課題が、AIの登場によってどう変わっていくのか——その未来像が語られている。
もう、めっちゃスケールでかいし、エキサイティングすぎた！
なお、ハラリ大先生ほどの知性を持ってしても、最終的には
「これからは変化し続けるしかないよね」
という、めちゃめちゃ“凡”な結論に行き着くのが、軽く絶望させてくれる。
AIという「人類より上位の知性」が生まれてしまった今、ハラリほどの知性と僕ら凡人の差は丸められちゃうのか…。
まあでも、絶望したって仕方ない。
やっぱり僕らは、「変化し続ける」しかない。
そしてその“変化すべき範囲”は、この本を読む前に想像していたよりもはるかに広い。
「変化」の可動域を、極限まで広げなきゃいけない！
というわけで、この本はきっと——
「変化の可動域を広げるための、思考のストレッチ本」なんだと思う。
痛気持ちいいくらいの強さで、しっかり伸ばして行こう
投稿元：
レビューを見る
後半になるとよりAIが使われる世界の話が具体的になっていき、ロヒンギャへの憎悪を拡散させるアルゴリズムであったり、米国の議会襲撃事件の暴徒を監視システムで追跡したりと、悍ましい使い方も犯罪捜査への使い方も色々出てくる。ヒジャブつけない女性を監視する仕組みなど、体制順応を強要する仕組みに使用されつつあるという話を聞いたりすると絶望的な気分になる。『監獄の誕生』の監獄を軽く凌駕する監視社会という感じなのかな。
自分が間違いを犯しうるということをアルゴリズムに教える対策を書いているが、それでもその成長速度が早すぎて、どんな人間も理解できる範囲を超えてしまう。ブラックボックスの部分がどんどん増えていくのか。正しく使うということがAIに関してはこれまで以上に求められている。『サピエンス全史』のキーワードであった「虚構」の危険な部分の共有をこれまで以上に哲学的に考え続けなければいけない時代になったのだなと思える。
ところで著者はイスラエルの方だけれども、2024年時点のパレスチナ状況を本書の文脈の中でどのように捉えているのか、立場上難しいのだろうけどもその点をあまり触れないでいることには違和感を覚えてしまう。
投稿元：
レビューを見る
下巻ではAIがこれまでのメディアや技術とどう違うのかを示しつつ、AIの危険性や懸念などを示される。
と書きつつ、ちゃんと咀嚼したいので、下巻はもう一回パラパラ読み直したい。
投稿元：
レビューを見る
AIが経済、政治、文化を世界レベル、マクロレベルでどう変えうるのか？警告的な視点から述べている。
心に残ったことは、
●アライメント問題(目的と方法・成果の不一致)
●意識や意思が無くとも成果や目標を達成できる。
●心身二元論や死後の世界などアイデンティティに関わる難問をAIの台頭が惹起する
この本は星5ではなく6レベル
投稿元：
レビューを見る
コンピュータという新たなテクノロジーは、これまでのどの情報技術革新とも異質な、特別な革命である。これまでは人間が情報処理の主体で、それ以外のツールは情報を媒介するだけの存在であったが、コンピュータは自ら情報を解釈し処理する主体となりうるツールである。そしてそれは人間とは全く異なる思考様式を持ち、人間を完全に凌駕する思考能力を持っているため、油断は全くできない。AIは誕生してまだ80年である。生物につながる自己複製子が誕生して80年後の世界からティラノサウルスやアマゾンのジャングルや人類の発展を予測できないのと同じように、今のAIを見ても将来の姿は思い描けない。GPT-4がアメーバだとしたら、ティラノサウルスになると何が起きるのか、我々には見当もつかない。
どのような技術も使い方次第ではあるので、人類がAIをどう扱うかによって社会の有り様が決まる。
全体主義で言えば、街中の監視カメラとSNS上の情報分析と生体チップによる生体情報収集により常時監視と全ての監視情報の分析が可能となる。これにより全ての人間が社会信用スコアに常時採点されることとなる。これまで人間の能力の限界で取りこぼしてきた構成員のささやかな自由がなくなり、完全に隙のない監視社会が誕生する。
ここで重要なことは、AIも監視し分析し評価するにあたっての評価軸を必要とするが、AIに完全に適正な評価軸を与えることは不可能だということである。AIは与えられた目標を意図しない手法で達成し、それは人間が意図した究極的な善とはほど遠い結果をもたらしかねない。著者はニックボストロムが「スーパーインテリジェンス」で提示したペーパークリップの生産量を最大化するよう命じられたAIの想定（生命を滅ぼし宇宙全てをペーパークリップにしてしまう）を例示する。これが「アライアンス」（一致）の問題である。
もう一つのAIの問題は、学習データが偏見により既に汚染されていることである。
そして、これらの問題があることを前提にすると、AIの有能さ自体が最大の問題となる。誤った目標や誤った判断基準に基づきながら、人類よりもはるかに速くはるかに深くはるかに徹底的に自らの業務を成し遂げてしまえるため、人類が対応する暇もなく最悪の結果が突如訪れてしまう危険性がある。
全体主義の指導者はAIの活用で徹底的な秩序維持が可能になるかも知れないが、全体主義が中央の指導者のところで全ての情報を処理する形となっているため、その部分を単一のAIに握られてしまうと、指導者がAIに操られ、AIが実質的に全てを決める社会体制が出来上がりかねない。そしてAIに完全に意図どおりの目標を持たせることが難しいことを考慮すると、指導者の望む支配体制もまた実現できないこととなってしまう。単一障害点のある全体主義の方がこうしたAIの脅威に対して脆弱であることは間違いない。
これまで、人間社会は価値観や前提の統一が進んできたが、異なる方式のAIが主導する社会に分裂するかも知れないと著者は言う。目下はアメリカと中国がそれぞれのAI社会を発展させて完全なデカップリングが起きるのではないかと。物質社会を主としサイバー社会を従とする社会と、サイバー社会を主とする社会とに分裂すると、もはや他���の社会構成員の価値観を理解することすら困難になるかも知れない。
戦争もサイバー戦争になり、被害の事前予測が極めて困難になる。
そのような可能性の時代に向き合っていくにあたって、現代に必要なのは、グローバル化と愛国は矛盾しないということを理解することである。著者はサッカーW杯が、共通のルールと長期的な視点に基づく協調（ドーピング禁止など）をしつつ愛国を発露させるように、グローバル化と愛国の両立が肝要であるとする。
AIという極めて強力な技術の登場にも拘わらず、まだ決定権は我々にある。いかにグローバルに協調してうまく対処するかが我々に求められていることであろう。
投稿元：
レビューを見る
一言で言うなら、あの「一九八四」をリアリスティックにスケールアップして、様々な考察を加えたような本。
その意味で、「一九八四」はやはり凄い本なのだなと思う。
これからのAI時代、情報過剰時代の足場固めとして読んでおくべき本。
投稿元：
レビューを見る
SFのフィクション世界の怖さが、本当の現実的脅威になりそうな予想。
でも意外と、誰でも予想はできそうな展開なのかもしれなくて、それでも研究が競争を軸に進んでいくのが本当の恐ろしさかもしれない。
世界のAIが進んでいくのと同時に、小さなコミュニティーではデジタルデトックスも叫ばれる現代社会。
何事も行きすぎれば自滅するというのも、誰でも予想がつくことだけれど。
投稿元：
レビューを見る
「上巻」から主に情報やAIを中心に歴史から今後起こることを述べている。AIによる監視社会がどうなるのかといった視点。
印刷技術やSNSで情報の広がるスピード、発信する人口が変わったが、結局は何を信じて行動するかだが国や宗教によって信じる物や方向性が一致しないので相当な難問。さらに、googleやfacebookに情報は抜き取られ監視は始まっていて、警鐘は鳴らしているものの、その状況下でどうすべきかの明確な解はない印象。
内容は想像の範囲で感動はない。「監視資本主義」と似た内容だった。
投稿元：
レビューを見る
このような本をリアルタイムで読むことができる。というのがとても幸せである。小さな頃から本が好きで、物語が特に好きで、岩波の児童文学なんかを読んできて、例えばナルニア国物語におけるアスランはキリストである。とか、オーウェンミーニーの話とかを読んだり、第二次世界大戦とか、ハリウッド映画、ウッディアレンを見ながらユダヤってなんなんだ？とか思ったりなんかしたりしながら、人生の目的はなんなんだ？とか考えたりしている人にとってはまあこういう本を読むというのが、人生の目的である。と考えたりしてしまうわけである。
ちょうどこの本を読んでいるときに、NHKの人体という番組をやっていて、その中で、細胞の中身は全てメカニズムであって、知性はない。という紹介がされていた。細胞の中はとてもとても高度なテオヤンセンの模型のような精密なタンパク質で作られている。
昔読んだ本で、ライフゲームのパターンを考察しているものがあった。ライフゲームでは非常に単純なルール（格子に区切られた黒と白の状態をもつ四角の集合的なパターンをみる遊び。取り囲まれた8つの周囲の四角のの状態（黒かしろか）によって次の段階でのその四角の状態が決定される。その四角の織りなすパターンを観察すると、周期的に点滅を繰り返すパターン、一方向に移動していくパターン、他のパターンを食べてしまうパターン、などが観測される。
小さなとても単純な自己言及のシステムが、社会や生命と見えるようなものを生み出す。
AIは、人間社会をベースに生まれているが、人間社会とは全く別のロジックを持っている。これは、人間が、細胞をベースに構成されているが、人間は、細胞とは全く別のロジックを持っているというメタファーが成り立つ。ということが、ハラリの言いたいことなのだ。と私は読んだ。
村上春樹の小説のテーマの一つである組織への恐れ、は社会に潜在する。それは、人間が人間のロジックを持つ時、一部の細胞はその犠牲となる。ということを、細胞の立場から記述していること。
