LIFE3.0――人工知能時代に人間であるということ みんなのレビュー

投稿元：

レビューを見る

知能＝複雑な目標を達成する能力、という定義はおもしろい。ただし、この本で扱っている内容は自分にはまだ難しい。人工知能についてある程度理解している人が読めば面白いのかもしれない。

投稿元：

レビューを見る

興味をそそる魅力的なタイトルの本だ。たしかに、プロローグのＳＦじみたＡＩの架空物語は面白いし、前半の方のＡＩや知能に関する歴史・知識やＡＩの安全性を（ＡＩによる知能爆発が起こる前の）現時点で研究しておかなければならないというミッションについてもよく理解できる。また、広い宇宙の中で知的生命体は（地球上の）我々だけかもしれないという考えや、そうであれば我々が存在しない宇宙（つまり、宇宙を観察する意識のない宇宙）は意義のないものではないかとか、人類が太陽系、銀河系あるいは宇宙の果てまで進出すべきでという発想もワクワクする。
しかし、ミクロのレベルでは（ＡＩによる知能爆発により）１つ１つの原子（やクオーク）をコントロールしてあらゆる物質を作ることができるとか、マクロのレベルでダイソン球だのブラックホールからのエネルギー抽出などという話になると、架空を超えて妄想とかＳＦでしかない。たしかに、著者の科学知識は非常に豊富で、チャンドラセカール質量に触れるなど一見科学的だが、（宇宙の）ある地点の星かコロニーを支配するために近くの大きな恒星にチャンドラセカール質量に達するだけの質量を放り込むといって脅す、などというのは荒唐無稽としか言いようがない。
というわけで、そういう無意味な知識のひけらかしのような部分を削って半分くらいのボリュームだったらよかったのに、と思わざるを得ない。

投稿元：

レビューを見る

難しすぎてよくわからなかった…。

知能は複雑な目標を達成する能力
知能≠IQ
子供にすすめる仕事
・人と関わり、社会性が高い
・創造性が高く、賢い解決法を必要とする
・予想できない環境に対応する
仕事と関係なく生きる目的を持とう
・友人､同僚
・健康
・敬意、自尊心
・必要とされる
・貢献している

速読ではこのくらいしか拾えなかったけど、熟読しても私にはちょっと難しそう…。
いや、でもタイトルがホントかっこいいよね。

投稿元：

レビューを見る

人工知能（AI）が人類を超えたときに何が起こるのかシナリオを提示し、人類として何をすべきかを説く本。

恐ろしいシナリオもあれば幸せそうなシナリオもある。そもそもAIが人間を超える時期が来るのかさえも論が分かれるところでもあるが、AI学者の間では、いずれシンギュラリティが到来するという意見が多数のようだ。その状況で、人類がAIに支配されたり絶滅されたりしないように、今から何をすべきかAIの安全性について説明している。AIだけでなく宇宙の視点で生物や意識について説明し、生物を再定義しつつ、そこからAIと人間の関係につなげる。これだけだと突拍子もないことのように思えるが、具体的なシナリオなどが提示されるので、分かりやすい。

簡単な本ではないが、自分や子孫がAIと平和な生活ができるように願っているのなら読んだ方がよい。

投稿元：

レビューを見る

前半はAIが人間を超えたときのいくつかのシナリオが示されていて面白かった。後半は、超人化したAIが地球規模ではなく宇宙規模で広がり、物理法則の限界と鬩ぎ合う（宇宙に従うだけでなく宇宙を変えようとする）という見方で、やや突飛な話に聞こえた。最終的には悲観よりも楽観であれ、というよくわからないメッセージで終わる。

投稿元：

レビューを見る

本書で言うライフのバージョンの定義は、以下の様なものらしい。
1.0 生きているうちに自らのハードウェアもソフトウェアも設計し直す事はできない。どちらもDNAによって決まっており、何世代にもわたる進化によって変化するのみ。
2.0 自らのソフトウェアの大部分を設計し直すことができる。（人間）
3.0 自らのソフトウェアだけでなくハードウェアも大幅に設計し直すことができ、何世代もかけて徐々に進化を待つ必要はない。

著者は、マックス・テグマーク氏。MITの教授で、理論物理学者という肩書きを持つ。AIの安全な研究を推進するための非営利団体FLI Future of Life Instituteの共同設立者。肩書きも活動も素晴らしいのだが、本書を読むと逆に何かを感じてしまう。未来予想って、天才の十八番と言うか、自説への誘導みたいなのも感じてしまうのだ…
きっとこの本は、20年後、30年後に評価がはっきりする類いの本だと思う。

対象とする読者は、AI好き、未来予想好きの人かな。500ページ弱の分量を最後まで読み切れるのは。

投稿元：

レビューを見る

タイトルに惹かれて手にとってみた。最初に断っておく必要があると思うのだけど…難しくて半分も理解できなかった…にも関わらず魅力的で凄く気になっている作品。作者は宇宙物理学者でAIの専門家ではないのだけれどAIの安全性というテーマについて国際的な議論をリードしている人らしい。AIに関してはシンギュラリティなどは来ずあくまで道具に過ぎない、という意見もあり自分はそちら側の見方をしているのだけど本作ではAIはかなりの可能性を持っっている、という前提なのだと思う。その前提で将来のシナリオを検討していく、というのが大まかな本作の内容。したがってこんな未来は来ないよな、と思いつつ読み進めていったのだが宇宙を対象に研究されているからか議論のスケールが大きく、億単位の将来にまで論が及ぶので章ごとにどんどんついていけなくなって、という読書体験。しかし分からないなりにページを眺めているだけでも何かとてつもなく重要なことが書かれている気がして気になって仕方がない。行ったり来たりしながら読まないと分からないので電子ではなく紙の本が良いだよろう…とか再読を検討中。もう一回読んでも分からないかもだけど（笑）こういうの一回読んだだけでぱっと分かる人もいるんだろうな…。自分は三回くらい読めばもう少し内容が理解できるかも知れない…。半分も理解できなかったけれど凄く面白かった。

投稿元：

レビューを見る

＜1章＞
・生命は複雑さを維持して複製できるプロセスと定義され、次の３つの段階をへて進歩する。自らのハードウェアとソフトウェアを進化させる生物的段階（ライフ1.0）、学習を通じて自らのソフトウェアをデザインできる文化的段階（ライフ2.0）、自らのハードウェアもデザインできて、自身の運命を司ることのできる技術的段階（ライフ3.0）
・AIによって我々は今世紀中にライフ3.0を生み出せるかもしれない。我々はどんな未来を目指すべきで、どうすればそれを実現できるかに関する、魅力的な議論が起こっている。その議論をめぐっては、技術懐疑論者、デジタルユートピア論者、有益AI運動の活動家という３つの陣営がある。
・技術懐疑論者は、超人的なAGIを作るのは極めて難しくて、何百年も先まで実現しないのだから、AGIやライフ3.0に対して懸念を抱くのは馬鹿げていると考えている。
・デジタルユートピア論者は、今世紀中にそれが起こりそうだと考えていて、宇宙の進化における自然で望ましい次のステップとして、心から待ち望んでいる。
・有益AI運動の活動家も、今世紀中に起こるだろうと考えているが、良い結果が保証されておらず、AI安全研究に真剣に取り組むことで良い結果を確実にする必要があると考えている。
＜２章＞
・複雑な目標を達成する能力と定義される知能は、IQという一つの値では測定できず、あらゆる目標における能力の程度によってしか測定できない。
・現在の多くのAIは「狭く」、それぞれのシステムは極めて特化した目標しか達成できないが、それに対して人間の知能は驚くほど「幅広い」。※モラヴェックのランドスケープ
・規則、計算、学習、知能は、抽象的で実体がなく漠然としているという印象がある。それは物質から独立しているからで、その根底をなす物質の詳細には依存しないし、左右もされず、独自に振舞うことができる。
・どんな物質の塊も、多数の安定状態をとることができる限り、「記憶」の基盤ろなりうる。
・どんな物質も組み合わさって任意の関数を実装できる万能構成部品を含んでいる限り、「コンピュートロニウム」、すなわち「計算」の基盤となりうる。そのような万能な「計算原子」の重要な礼が、NANDゲートとニューロンである。
・ニューラルネットワークが「学習」のための強力な基盤であるのは単純に物理法則にしたがって、目的の計算を次々にうまく実装できるように自らを組み替えられるからである。
・物理法則が驚くほど単純であるおかげで、我々人間は考えうる全ての計算問題のうちごく一部だけを気にすれば良い。一般的にニューラルネットワークはそのごく一部の問題を正確に解くことに驚くほど秀でている。
・テクノロジーが２倍強力になると、それを使ってされに２倍強力なテクノロジーが設計されて構築され、ムーアの法則さながら能力が繰り返し２倍になっていく。100年ほどに渡って情報技術のコストは2年ごとに半分になっており、情報化時代を可能にした。※もちろん物理的限界があるが、それに対しては代替する技術が生まれる。
＜３章＞
・短期的なAIの進歩は、個人生活や電力網や金融市場をより効率化したり、自動運転車や手術ロボットやAI診断システムによって命を救ったりと、数えきれない形で我々の生活を大きく向上させる可能性をひめている。
・現実世界のシステムをAIにコントロールさせるとしたら、AIをもっと堅牢にして、我々ののぞみ通りのことをやらせる方法を編み出すことが必須である。そのためには、検証、確証、セキュリティ、制御に関する困難な技術的問題を解決しなくてはならない。
・AI制御の兵器システムは極めて危険性が高いので、堅牢性を高めることは特に急務である。
・野放図な軍拡戦争が起こって、お金と鬱憤をためた誰もが使える手ごろな暗殺マシンが生み出されるという事態を防ぐために、一流のAI研究者やロボット研究者の多くはある種の自律型兵器を禁止する国際条約を求めている。
・AIは法体系をより公平で効率的なものにしてくれるが、そのためにはロボット判事を透明性が高くて偏見を持たないものにする方法を見つけ出さないといけない。
・AIがプライバシーや義務や規則をめぐる厄介な法的問題を突きつけてくるのに遅れを取らないよう、法律も素早く改良していく必要がある。
・我々が知能マシンに完全にとって変わられることを心配しなければならなくなるのよりもはるか以前に、知能マシンは労働市場から我々を次々に排除していくかもしれない。
・それはAIが生み出した富の一部を社会が再配分して、誰もがより良い生活を送れるようにする場合のみ、AIが労働市場を独占することが許される。そうでなければ、不均衡がさらに拡大する。
・事前に準備をしておけば、低雇用社会は経済的に反映するだけでなく、人々が仕事以外の活動によって目的意識を持てるようになるだろう
・機械にはうまくできない職業、人間関係や予測不可能な事柄や創造性が関係する職業を選ぶこと。
＜４章＞
・いつか人間レベルのAGIを作ることに成功したら、知能爆発が起こって我々は大きく遅れをとるだろう。
・ある人間集団が知能爆発をコントロールできたら、その集団は数年で世界をのっとれる
・人間が知能爆発をコントロールできなければ、AIがさらに素早く世界をのっとるかもしれない
・急速な知能爆発は単一の世界権力を生み出す可能性が高いが、何年も何十年もかかる知能爆発は多極的なシナリオに繋がり、互いに比較的独立した多数の主体の間で権力の均衡が取られる可能性が高い
・生命はこれまで、自己組織化によって協力と競争と支配に基づくヒエラルキーを次々に複雑化させてきた。超知能はさらに大きい宇宙スケールでの協調を可能にするだろうが、最終的にさらに独裁的なトップダウンの支配につながるのか、あるいはもっと個々の主体に権力が委譲されるのかは明らかでない
・サイボーグやアップロードした心は確かに実現しそうだが、高度な機械知能に到る最短のみちではない
＜３章＞
・超知能が人間と平和的に共存するシナリオとしては、その超知能が強制的に共存させられる場合（奴隷としての神のシナリオ）と、その超知能が共存を望む「友好的なAI」である場合（自由論者のユートピア、保護者としての神、善意の独裁者、動物園の飼育係のシナリオ）がある。
・超知能の出現が避けられるシナリオとしては、AIが超知能の出現を食い止める場���（門番のシナリオ）、人間が食い止める場合（１９８４のシナリオ）、意図的にテクノロジーを忘れる場合（先祖返りのシナリオ）、または超知能を作る動機を持たない場合（平等主義者のユートピアのシナリオ）がある。
・人類が絶滅してAIにとってかわられる場合（征服者のシナリオと後継者のシナリオ）や、何一つ残らない場合（自滅のシナリオ）も考えれらる。
＜６章＞
・数十年におよぶ宇宙のスケールと比べると、知能爆発は一瞬の出来事であり、テクノロジーのレベルは物理法則による限界であっという間に頭打ちになる。
・一定状態に達したそのテクノロジーのレベルは今日のテクノロジーよりも遥かに高く、同じ量の物質からでも、約１００億倍のエネルギーを発生させ、１２桁から１８桁分多くの情報を保持し、３１桁から４１桁分速いスピードで計算を行うことができる。あるいは、なんでも好きな物質に変換させることができる。
・超知能声明は、既存の資源をそのように大幅に効率的に利用するだけでなく、光に近い速さで宇宙へ入植してさらに多くの資源を獲得することで、今日の生物圏を約３２桁分大きいサイズへ拡大させることができるだろう。
・ダークエネルギーは超知能生命の宇宙への拡大に制限をかけるとともに、遠方で膨張し続けるデスバブルや敵意ある文明から守ってくれる。ダークエネルギーが宇宙文明をばらばらに引き作という脅威を踏まえて、もし実現可能であればワームホールを建設するなど、大規模な宇宙エンジニアリングプロジェクトが進められるだろう。
・宇宙的な距離にわたって共有あるいは取引される主な商品はおそらく情報である。
・もしワームホールが存在しなければ、宇宙文明全体の協調と支配にとって光速による情報伝達の限界が深刻な問題となる。中央の羽生は遠方の超知能「ノード」を協力させるために、報酬を与えるか、または脅しをかけるかもしれない。例えば、規則に従わなかったら、超新星爆発やクエーサーを起こしてそのノードを破壊するようプログラミングされたAIを現地に派遣する等。
・拡大する文明が出会ったら同化と協調と戦争のいずれかになる可能性があるが、今日の文明に比べたら戦争になる可能性は低いだろう。
・一般的に信じられているのと違い、この観測可能な宇宙をいずれ命をもつものにできる生命形態は我々しかいない可能性が高い。
・もしわれわれがテクノロジーを進歩させなければ、問題となるのは人類が絶滅するかどうかではなく、どのような絶滅するかということになる。我々に最初に襲いかかる大災厄は、小惑星衝突、超巨大噴火、年老いた太陽の焼けつくような高熱、あるいはそれ以外の何かであろうか。
・落とし穴をさけるために、十分に慎重に、先見性をもって、計画をたててテクノロジーを進歩させ続ければ、生命は何十億年もの間、地球上やそれよりはるか広い範囲で祖先たちのどんな突飛な夢よりも反映する可能性がある。
※ダイソン球
＜７章＞
・目標思考的な振る舞いの究極の根源は、最適化が関係した物理法則である。
・熱力学には「エントロピー（散らかり具合の度数）」を増大させる「散逸」という目標が組み込まれている。
・「生命」とは、周囲の散らかり具合を増やしな���ら自らの複雑さを維持して（または高めて）増殖することで、散逸（全体の散らかり具合を増やすこと）をもっと速く進行させるという現象である。
・ダーウィン的進化によって、目標志向的振る舞いは散逸から増殖に移行する。
・知能とは複雑な目標を達成する能力である。
・我々人間は、真に最適な増殖戦略を見出すだけのリソースをもってはいるとは限らないため、判断の道しるべとなつ有用な経験則として、空腹や喉の渇き痛みや肉欲や道場などの感情を進化させた。
・そのため我々はもはや、増殖といったような単純な目標は持っておらず、自分の感情が遺伝子の目標と相容れない時には避妊薬を用いる等して感情に従う。
・我々は自分たちの目標の達成に役立つような、次々に賢い機械を作り続けている。目標志向的な振る舞いをするそのような機械を作る限り、機械の目標を我々の目標と合致させるという課題に取り組み続けることになる。
・機械の目標を我々自身の目標と合致させるには、機械に我々の目標を理解させ、取り入れさせ、持ち続けるという３つの未解決問題を片付けなければならない。
・AIにはほぼあらゆる目標を持たせることができるが、十分に野心的なほぼどんな目標からも、自己保存、資源獲得、この世界をよりよく理解するための好奇心という下位目標が導かれる。自己保存と資源獲得は、超知能AIが人間にとって問題を引き起こすことに繋がる可能性があり、好奇心は超知能AIが人間から与えられた目標を持ち続けるのを妨げるかもしれない。
・ほとんどの人間はいくつもの倫理的原理に賛同するが、それが人間以外の動物や未来のAIなど別の主体にどのように当てはまるかわからない。
・人類の絶滅につながらないような明確に定義された究極の目標をどのようにしてもたせればいいか、よくわかっていない。そのためまさにいま、哲学でもっとも厄介な問題に対して再び研究を進めるべきである。
＜８章＞
・「意識」に対する明白な定義は存在しない。本書では、意識＝主観的経験という、非人間中心的な幅広い定義を使う。
・この意味でAIが意識をもつかどうかは、AIの台頭によって突きつけられる次のような極めて厄介な倫理的および哲学的な問題にとって重要である。AIは苦しみを感じるか？AIは権利を持つべきか？心のアップロードは主観的な自殺となるか？未来の宇宙にAIが満ち溢れたら、ゾンビ的な究極の世界の終わりがおとづれるか？
・知能を理解するという問題を、意識に関する以下の３つのもんだいとないまぜにしてはならない。そのような物理系が意識をもつかという「かなり難しい問題」「クオリアを予測するという「更に難しい問題」そもそもなぜ意識が存在するかという「本当に難しい問題」
・意識に関する「かなり難しい問題」は、人間の脳のプロセスじょうちどれが意識的であるかを予測する実験で検証できるため、科学的な問題である。しかし、もっと難しいふたつの問題を科学で検証できるか現在のところ定かでない。
・意識に関する予測を脳から機械へ一般化するのは理論が必要。おそらく意識に必要なのは、特定の種類の粒子や場でなく、かなりの程度自律して統合されており、系全体はかなり自律しているがその各部分は自律していない、特定の��類の情報処理である。
・意識を非物質的に感じるのは、二重の意味で物理的基盤から独立しているためである。情報がある複雑な形で処理されている時の感じ方が意識だとしたら、重要なのはその情報処理を行っている物質の構造でなく、その情報処理そのものの構造である。
・人工的な意識が存在可能だとしたら、AIが経験しうる事柄の範囲は人間に比べて膨大で、幅広いクオリアや時間スケールにおよぶ。それらすべてえの経験が自由意志を持っているという一つの感覚を共有する。
・意識がなければ意義が存在しないのだから、この宇宙が意識的存在に意義を与えているのではなく、逆に意識的存在がこの宇宙に意義を与えている。
＜まとめ＞
無条件の楽観主義でなく、計画的な楽観主義でいるべきである。AIが進化することにより、「どんな恐ろしいことが起こるか」を考えるより「どんな素晴らしいことができるようになるか」を考えることが大切だ。もちろん、安全性に考慮が必要ではあるが。

投稿元：

レビューを見る

【筆者の主張】
AIにはリスクがあるが、長期的には生命の未来に対してプラスの効果をもたらす。ただしそれは、AIの安全性を高めるために慎重に計画を積み重ねたうえでのことだ。この宇宙が生命に満ちた場所として豊かな未来を迎えるかどうかは、他でもない我々の肩にかかっている。
決してネガティブな未来を想像してはいけない。どんな未来を恐れるかではなく、どんな未来を望むかを考えて行動しよう。


【本書の概要】
①生命の定義とAIに対しての世間の反応
本書での生命の定義は以下の通り。
ライフ1.0＝「生き延びて自らを複製できるか？」を満たす存在。ウイルスなど。
ライフ2.0＝加えて、「自らのソフトウエア（言語やスポーツや世界観などの複雑なアルゴリズムや知識）を設計できるか？」を満たす存在。人間。
ライフ3.0＝加えて、「自らのハードウェアを設計できるか？（生命が自分自身をデザインできるか？）」を満たす存在。シンギュラリティ到達後の機械。

人工知能の発展について、我々はどのような未来を目指すべきで、どうすればそれを実現できるかに関する魅力的な議論が起こっており、主に3つの陣営が存在する。
１　技術懐疑論者…汎用人工知能は実現しない。
２　デジタルユートピア論者…汎用人工知能は今世紀中に誕生する。それは世界にとって自然で望ましいものである。
３　有益AI運動の活動家…今世紀中に誕生するが、良い結果になるかはわからない。安全性の研究が必要である。

以上３つは専門家がAIについて抱いている予測である。
一方、一般の人々がAIについて抱いている認識もあるが、この多くは誤解である。よくある誤解は次の通りだ。

（誤）超知能は今世紀中に出現する/しない
（正）わからない

（誤）AIに懸念を抱いているのはラッダイトだけ
（正）トップクラスのAI研究者の多くが懸念を抱いている

（誤）AIは邪悪になる/意識を持つようになる
（正）AIが有能になって、その目標が我々と合致しなくなる

②物質が知能を持つ
本書では「知能」の定義を、「複雑な目標を達成する能力」という広範的な意味合いで用いている。
知能は、IQというたった１つの値では測定できない。作詞に必要とされる知能とパズルに必要とされる知能が違うように、あらゆる目標における「個々の」能力の程度によってでしか測定できない。そのため、今のAIの知能は「狭い特化型」であり、人間の知能は「幅広型」である。

AIの知能の話をする前に、知能そのものに目を向けてみると、知能というものは随分と抽象的で漠然としたものに見える。実態のある物理的肉体が、どのようにして知能のような実態がない曖昧なものを生み出せるのだろうか？
そもそも、知能や記憶や計算が漠然としたものに見えるのは、物質から独立して振る舞うからである。似顔絵を書くときは、書かれた顔のパターンが誰に似ているかで描写されたものを特定するわけであり、クレヨンの粒子一粒ひとつぶを見て書かれている意味を理解するわけではない。計算とは時空内での粒子の配置のパターンであって、本当に重要なのは粒子ではなく粒子が描くパターンを読み解くことだ。
そのため、計算をするためには粒子と空間という「最低限の物質」は必要だが、どんな物質かは問わない。物質はハードウェア、パターンはソフトウエアである。知能にはもともと血や肉は必要ないのだ。

そう考えると、どんな物質も、安定状態を取ることができれば「記憶」の基盤になる。そして、組み合わさって任意の関数を実装できる万能構成部品を含んでいる限り、どんな物質も「計算」の基盤となる。そうした万能構成基盤は何も難解な構造ではない。コンピュータにおいては「0・1」と「not andゲート」である。これは理論上「どんなに複雑な計算も」行うことができると考えられている。脳においてはニューロンがこの役割を果たしており、ニューロンはNANDゲートよりも少ない個数で計算を行うことができる。

しかし、この世には無限に物があるのに、どうしてありとあらゆる状態の計算が出来ると言い切れるのだろうか？
この答えは意外にも物理学との関係性によって導かれる。「ありとあらゆる」と言っているが、実際には無限回の計算をしているわけではない。宇宙は単純な物理法則によって縛られており、我々が計算したいと思う状態は、無限個の解の中で物理法則に規定されたものだけである。いきなり椅子が飛び上がって部屋中を暴れまわって大爆発する確率の計算など、我々には複雑すぎて出来やしないが、そもそも物理法則を無視した計算など行う必要がないから念頭に置かなくていい。そうして除外を繰り返した結果、「考えられる」ありとあらゆる計算を行うことができる。
それを計算するのに驚くほど秀でているのがニューラルネットワークだ。ニューラルネットワークは、単純な物理法則に従って、目的の計算を次々にうまく実装できるよう自らを組み換えて「学習」を行っている。

③近未来――ブレイクスルー、バグ、法律、兵器、仕事
AIの可能性について論じてきたが、実際問題、AIが進歩していくことは人間であることの意味をどのように変えるのだろうか？視点を変えれば、我々が今のままの人間と機械の関係性を保ち続けるには彼らに何をすればいいのだろうか？

もしAIに我々の望み通りのことをやらせるとしたら、検証・確証・セキュリティ・制御に関する困難な技術的問題を解決する必要がある。検証とは「システムが仕様に合致しているか」を確かめること、確証とは「正しい仕様を選んだか」を確かめること、セキュリティとは「ハッキングに対する防御策を高めること」であり、制御とは「人間と機械の間の情報伝達がうまく行っているか」を確かめることである。
テクノロジーに頼れば頼るほど、目的の作業をやってもらう上でそのテクノロジーが堅牢で信頼できるかが重要になる。AIが人間の生活に介入する度合いが高くなるにつれ、彼らが扱う事象は部屋の掃除からミサイルの撃墜まで幅広くなり、たった一度の事故でも取り返しのつかない損害を生む恐れがあるからだ。試行錯誤による事後的な対策ではなく、事前的な対策を取るべきである。

AIの発展において特に注意すべき分野は軍事だ。野放図な軍拡競争が起こり、誰もが手軽に使える暗殺マシンが生み出されるという事態を防ぐた��、一流のAI研究者やロボット研究者の多くはある種の自立型兵器を禁止する国際条約を求めている。

他にも、労働をAIに奪われるかどうかも議論がつきない問題である。
AIとオートメーションの進歩が続けば経済のパイは大きくなり続けるが、誰もが恩恵を受けるという経済法則が成り立つのかは微妙である。短期的には失業者が増えるかもしれないが、長期的にはAIが生み出した富を使い、仕事することなく衣食住を満たしながら人生の意義を追求できるユートピアができるかもしれない。もっとも、AIが生み出した富の一部を社会がうまく再配分できればの話だが。

一つ言えるのは、汎用人工知能が人間のレベルまで進歩して更に追い抜く可能性（知能爆発）は無視できないということだ。

④知能爆発
知能爆発が起こった後はどうなるのだろうか、多くの科学者や素人を悩ませてきた問題であるが、「答えはわからない」というのが現状である。あまりにも不確定要素が多いため、知能爆発が起こりうる時期や影響の予想は識者によってバラバラである。
何とか予想できるのは、急速な知能爆発は単一の世界権力を生み出す可能性が高いが、何十年もかかるゆっくりとした知能爆発は他局的なシナリオに繋がり、互いに比較的独立した多数の主体の間で権力の均衡が取られる可能性が高いということだ。
人間にとって最高の出来事が起きるのか最悪の惨事になるのかは定かではないが、大切なのは「何が起こるか？」という問いではなく「我々がどのような結果を望み、どのように進んでいくべきか？」という問いである。目的が見えない未知のエイリアンと違って、我々はAIに対して大きな影響を与えることができる。ならば社会にとって望ましい未来を考えることが、よい結果を生むことにつながる。


⑤未来の世界
AGIを目指す現在の競争が今後数千年のうちに行き着く可能性のあるシナリオは、驚くほど幅広い。
そのシナリオは、超知能を抑制し強制的に共存すること、有効的関係の中で超知能が保護者や善意の独裁者としての役割を持つこと、超知能の支配下における動物―飼育係の関係に収束することなどがある。また、超知能の出現自体を食い止め、技術を捨てて先祖返りしたり、核戦争により全滅したりするといったシナリオもある。いずれのシナリオにも好ましくない要素が含まれているため、不幸な方向に流されたりしないよう、我々の未来の目標をめぐる議論をさらに深めていくことが重要だ。

⑥我々が生物圏を拡大する限界は？
テクノロジーのレベルは、物理法則による限界であっという間に――十万年程度という宇宙規模で言うあっという間に――頭打ちになる。
といっても、頭打ちになったテクノロジーのレベルは今よりも遥かに高く、同じ量の物質からでも約100億倍のエネルギーを発生させたり、ある物質を分解しすることで好きな物質に変換させたりすることができる。
もし素粒子を組み替えてどんな形の物質でも容易に作れるテクノロジーを超知能が開発したら、長距離の交易をする動機はほぼなくなってしまう。超知能に満ちた宇宙では、長距離にわたって輸送する価値のある商品は「情報」だけだ。
超知能生命は、そうしたテクノロジーを使って宇宙に進出し、生物圏を約32桁分大きいサイズに拡大することができる。そこではワームホールの建設など、大規模な宇宙エンジニアリングプロジェクトが進められるだろう。

ここで注意すべきなのは、人間が光速と等しい速さで移動できたとしても、宇宙の果てまで行き着くことはできないということだ。アインシュタインの相対性理論は、空間内の物質は光速より速く移動することはできないと証明しているが、それは「空間自体」には当てはまらない。空間が光の速さ以上に膨張し続ければ――現にダークエネルギーによって宇宙の膨張は加速している――自分より速く進む列車に飛び移ることが出来ないように、宇宙の果てに行き着くことはできない。
この速度制限の中で、我々が観測して到達することのできる宇宙を「観測可能な宇宙」と言う。その大きさは約10^26mだ。

この「観測可能な宇宙」の視点に立つと、「宇宙は無限なのだから、どこかに知的生命体が存在し出会うことができる」という議論には、少し落とし穴があることがわかる。
まず、宇宙は無限ではない。前述したとおり、我々がタッチできるのは「観測可能な宇宙」の中だけである。すると、我々から一番近い文明は少なくとも10^26mの中にいなければ認知できないし、その確率はかなり低いと言わざるを得ない。

⑦生命とAIの目標
自然は、何かをおこなうために選ぶことのできるあらゆる方法の中から、一般的には何らかの量が最小化または最大化されるような最適な方法を選ぶ。これを物理学では「フェルマーの原理」と呼ぶ。
自然そのものが何かを最適化しようとしているのであれば、目標指向的な振る舞いが出現することには何の不思議もない。（※作者は「目標指向」を、「ある存在が最適な経路選択をすること」と同義と考えている）
物理法則が粒子に与える目標とは、周囲からできるだけ効率的にエネルギーを取り出せるよう、自らを組織化することである。これを推し進めるには自分のコピーを作って、さらに多くのエネルギー吸収体を作り出すのが好ましい。そのような粒子の集合体のことを、我々は「生命」と呼び、自分のコピーを作ることを「増殖」と呼ぶ。
生命は効率的なエネルギーを作り出すために「増殖」をするが、我々人間は真に最適な増殖戦略のリソースを持っているとは限らないため、目標のための判断の道標として、痛みや空腹や肉欲などの感情を進化させた。感情は増殖という究極の目標を目指すための意思決定であるがゆえ、脳は増殖よりも感情のほうに重きを置くようになった。感情に従うことが目的のための最適化行動だからだ。しかし、人間の脳は遺伝子よりも賢く、理想よりも目の前の欲望に忠実であった。避妊や禁欲など究極の目標に背く行為をするのは、自分の感情だけに忠実であるようできているからだ。

我々は大小さまざまな目標を持つが、その目標はどのようなものであっても、根底に次の「小目標」が存在する。
１　自己保存
２　リソースの獲得
３　「世界をもっと理解しよう」という好奇心
我々は、こうした自分たちの目標の達成に役立つような賢い機械を次々に作り出している。
そのため、機械の目標を我々の目標と合致させることがますます重要になってくる。
それには、機械に我々の目標を理解させ、取り入れさせ、持ち続けさせるという、3つの未解決問題を片付けなければならない。
また、AIの目的と人間の目的が合致しても、倫理的原理まで合致するとは限らない。この宇宙の未来をどのように作っていくべきなのか、AIが意識を持つのか、という哲学や倫理に関する議論を早急に行う必要がある。


【感想】
AIが人間にどのような影響を及ぼし、我々はどう対処するべきなのか。この手の本はたくさんありそれぞれ扱っている話題も異なるが、「LIFE3.0」は500ページにも及ぶ文章によって全ての問題を網羅的に扱っている。AIにまつわる課題を総ざらいしたい人にはおすすめの一冊だ。
この本を読み解く鍵は「物理法則の限界」である。一見して無限に見える宇宙のパターンは、実は物理法則によって縛りが設けられている。この制約は人類にとってメリットでもありデメリットでもある。メリットとしては、起こりうる事象に制限がかかることでAIの計算が森羅万象にまで及ぶことであり、デメリットとしては、広がり続ける宇宙を全て開拓することへの限界が挙げられる。

本の中身であるが、本書は差し迫った問題から遠くの未来で起こる問題まで幅広く扱っているものの、未来の事柄に対してはかなりのSF的創作が混じっている。作者自身の想像力はブラックホールエンジンやスペースコロニー、ワームホール移動など、「おいおいそれは無理なんじゃないか？」と感じるものにまで多岐に展開するが、あくまでも「物理法則による制約」という一線は引いている。
しかし、これらは作者が単にオタク知識を並べ立てたくて書き連ねたものではない。（若干はそのケがあったのかもしれないが）
というのも、筆者は起こり得る事象を取捨せず網羅的に捉えることに重きを置いているからだ。
作者自身はシンギュラリティを肯定でも否定でもなく「起こる可能性は否定できない」という立場で論じており、科学と人間の可能性に限界を設けていない。SF的妄想を「それは無いだろう」と打ち棄てることはせず、可能性のあるストーリーの全てを念頭に置き、「リスクに気を付けながらも、ネガティブではなくポジティブに議論をしようね」というスタンスを取っているのだ。
本書はそうしたスタンスで書かれているため、話があっちこっちに行ったり無関係な文章が挿入されたりとなかなか忙しい。苦手な人は思い切って飛ばし、章のまとめを軽くさらっていく読み方もありだと思う。

投稿元：

レビューを見る

安全なAI。人類の絶滅につながらない明確に定義された究極の目標を、どのように超知能AIに持たせればいいのか。

投稿元：

レビューを見る

我々は、以前は自らのソフトウェア、ハードウェアを設計できない、生き延びて複製するだけだったが、人類が生まれた後自らのソフトウェアを改良できるようになって急激に文明を発展させてきた。現在、自らのハードウェアを設計できるようになりつつあるという点で生物としてライフ3.0という段階にあると言える。現在AIについての立場として、デジタルユートピア論者、有益AI運動の活動家、技術的懐疑論者の３つに大別できる。そして、いつか超知能が開発された時、超知能は宇宙をも取り込み、それによってどのようなことが起こるか考えてみると、人類の望まない取り返しのつかない結果になる可能性がある。そのようなことになる前に、人類として、ホモ・サピエンスではなく、ホモセンティエンスとして、どのような取り決めをするかを一体となって考える必要がある。そのためには、意識とは何かという問題を考える必要もある。その問題は大変難しいが、三層的に捉えることができて、一つ目は科学的な検証ができるが、残りはそれすらもわからない。いずれにせよ、意識が宇宙に意義を与えていると言えるので、意識を維持する必要がある。現在、急速に安全性についての合意がなされていて、中心的な研究テーマにもなった。人類として留意の伴う楽観論者になることがよりよい未来を創ってくれる。


まず、やはりマスコミの報道はいつも多数の意見から外れているのだと改めて思わされた。AIの進化は、宇宙をはじめとした物理学とつながり、本質的に人類の中心的な問題、むしろそのものになってくるのだと知った。安全性について、進化の妨げとして自分はあまりいいイメージを持っていなかったが、安全性への合意が進めば、さらによいものが作られるのだと思った。AIに関することでなくても、留意の伴う楽観論者になることは大切だと思った。

投稿元：

レビューを見る

ＡＩの未来に関する議論にはどういうものがあるか知りたい人におすすめ。

【概要】
●ＡＩとともに生きる生命の未来
●ＡＧＩに関するシナリオ
●宇宙の話
●ＡＩと人との目標
●意識とは

【感想】
●訳本は理解しにくい。書かれている日本語の意味が通らない。英文とともに照らし合わせて読むと理解しやすいのだろう。
●ＡＩの暴走の話がよく取り上げられるが、そのようなＡＩを使用しなければよい話だけだと思う。例えば、今の旅客機よりも２倍速い旅客機を開発したが墜落する可能性が何倍も高くなるとしたら、誰もその旅客機には乗らず現用で十分だと思うだろう。
　それと同じであって、危険だとわかっているようなＡＩを開発できたとしても、それを使用せず、危険に至らないレベルのＡＩを使用するにとどめておけばよい話である。と考えるとすべては馬鹿げた議論であり、単に人が食いつきやすい本を売って儲けることが目的ではないかと思えてしまう。

投稿元：

レビューを見る

2021-03-12
最初の定義ではLIFE3.0は「世代によらないソフトウェアとハードウェアの更新」のはずだったが、いつのまにかハードウェアのことは置き去り。ああ、万能合成能力がそれに当たるのか。
いずれにせよ、「スーパーインテリジェンス」を読んだ時の居心地の悪さはこの本を読むことで解消された。最悪を想定しつつ最善を祈る。うん、共感できるよ。
読む人によっては話がワープしてると感じるかもしれないけれど、自分には地続きだった。後半なんでも「かもしれない」になるのは、仕方なかろう。

投稿元：

レビューを見る

図書館借りして読んだが、話題が多岐に渡るので手元に残しておくと振り返りやすいなーって思う本。

しかし、AIの安全性を今から議論していくべきという明るい未来を目指した取り組みには同感であります。