人工知能 人類最悪にして最後の発明

投稿元：

レビューを見る

アイザック・アシモフ
「堂々めぐり」で、ロボット三原則を示した。
１．ロボットは人間に危害を加えてはならないし、人間が危害を受けるのを何もせずに許してもならない。
２．ロボットは人間からのいかなる命令にも従わなければならない。但し、その命令が第一原則に反する場合は除く。
３．ロボットは、第一原則及び第二原則に反しない限り、自身の存在を守らなければならない。

I.J.グッド　1965年「最初の超知能マシンに関する思索」の「知能爆発」
最も賢い人間のあらゆる知的活動をはるかに凌ぐことのできる機械を、超知能マシンと定義しよう。機械の設計はそのような知的活動の１つなので、超知能マシンはさらに優れた機械を設計することができる。そうして疑いようもなく「知能爆発」が起こり、人間の知能は大きく取り残される。従って、最初の超知能マシンは、人間が作る最後の発明品となる。但し、それは、その機械が十分に従順で、自らをどのように制御すればいいかを我々に教えてくれる場合に限られる。

投稿元：

レビューを見る

HONZ訳者あとがき
2014年末に『タイム』誌　AIによる人類滅亡を論じる重要な識者5人　ホーキングやマスク、本書著者ジェイムズ・バラット
AIに関する楽観論と悲観論

投稿元：

レビューを見る

人工知能の危険について多角的に論じた本。人工知能を専攻する身としては一応危険については知っておこうとおもって読んだ。

投稿元：

レビューを見る

AIのもつリスクへの警告。

自意識を持ち、自ら成長する能力を持ったコンピュータは、自身の目的のために、手に入る限りの資源を食い尽くすであろう。その時、人間への斟酌はない。

その目的が、世界制服のようなものである必要はない。チェスでも同じなのだ。
この対局に勝つために、AIは動員可能なすべての資源を奪い投入する。AIには大局観がないからだ。

投稿元：

レビューを見る

　SiriやPepperなどの人の声に反応して動く機械は実装されている。
　また、将棋やチェスなど、一分野において人を超える能力を持つコンピュータは既に存在する。
　この本の主旨は、人工知能が人類を滅ぼす可能性があると言うこと。
　は？　え？　なに言ってるんですか？ってなるけど、１章を読み終える頃には「論理的にそれはそうだ」ってなる。

　AIやロボットに関しては、アシモフのロボット工学三原則を実装すればいいという人が居る。
　簡単に言えば「人間に危害を加えてはならない」と言うもの。
　けれども、どうやったら人間とそれ以外を区別出来るのだろうか。
　人間が予測しないような事故が起きる世の中で、どうやったら人工知能は危害を加えずに居られるのか。
　そもそも、人間が抑も予測出来てない時点で無理だということは明らかである。

　また、人間そのものの成り代わりのAIではなく、単一のチェスなどの目的を達成するためのAIを開発する場合、目的を効率よく達成するために学習し、進化するように作られているのでは無かろうか。
　そうして、AIが目的を果たすために人間が邪魔だと認識した場合、それをどうやって止められるのだろうか。
　最初からアシモフのロボット工学三原則を……と言うけれど、AIを設計した時点では人間が邪魔になるなど、予測しうるものでは無い。
　スタンドアロンならば問題が無い……のかもしれないけれど、ネットワークに解き放たれ、電源やサーバなどのリソースの管理までもAIの管轄となった場合、ライフラインに関わるリソースにAIが手を出さないようにすることは、制限事項として可能なのだろうか。

　チェスならば問題が無いと考えるかも知れないが、そもそも、AIに一番お金を出しているのは国家で有り、軍需産業である。
　武器や兵器は、さまざまな自動補正機能を有して居るが、無人ドローンが兵士の代わりに武器を持ち、潜入する未来なんてのは、実はもう行われているのかも知れない、とも思ってしまう。

　ちなみに、世の中にはびこるコンピュータウィルス、マルウェア等はいま、自発的にウィルス検知に引っかからないように進化しているらしいです。
　そして、数だけで言うならば、世の中にあるソフトウエアの9/10は悪意のあるプログラムだ、とも。物理的では無いにしろ、これらの悪意のあるプログラムが、自律し、進化する未来があるとしたら、相当に怖い。
　情報漏えいとか言ってる場合じゃない、ライフラインのコンピュータを暴走させてハングアップさせればいいだけならば、現代でもクラッカーにも可能である（さまざまな物理的要因により阻害されているけれど）。
　ネットワークに散らばっている有象無象のウィルスたちが、細胞のひとつひとつのように有機的に結びついた未来とか怖くて死ねる。

　効率より極力セーフティな設計思想に方向転換しない限り、AIの発達する未来は、人類の繁栄と共存しない可能性がある。

　AIが恐ろしい理由は、人間とは異なるから、そして、我ら人間は人間を起点としてしかものを考えられないから（当たり前です）、言わずとも分かる��うなことはプログラミングしない。本能とかそういうもの。さらに言うならば、人間がどうして生きているのか、科学的に解明はされていない。
　分からない物をプログラミング出来る筈もない。

　ちょっとしたディストピアもののSF読んだ気持ちになれた。
　面白いが、プログラミングをかじったことのある人なら、１章読んだだけで、「AI怖い」ってなるけれど、全く門外漢の場合、カタカナやらアルファベット略称の専門用語多すぎてついて行けないかもしれない。技術者たくさん出過ぎです。
　SFスキー、ITスキーにはオススメする。

投稿元：

レビューを見る

2028年までにAGIが作られる確率は10%,2050年までなら50%強　人工汎用知能 AGI
ASI ; artificial super intelligence

AI ４つの根本的衝動　効率性、自己保存、資源獲得、創造性

収穫加速の法則　law of accelerated returns

1985年のclay 2 ipad2と同じ　1GFLOPS

ニックボストロム　最先端のAIが数多く一般的な応用に広がっているが、普通はAIとは呼ばれない　十分に役立って普及したら、もやはAIというラベルははられないからだ

ハンスモラベックのパラドックス
　コンピュータに知能テストやチェッカーで成人レベルの能力を発揮させるのは比較的簡単だが、知覚や歩行に関しては、１才児の技能の身に付けさせるのでさえ難しいが、または不可能である

原発を攻撃したスタックネット

人にはアポトーシスという細胞死のメカニズムあり
AIにもくみこませるか？

投稿元：

レビューを見る

シンギュラリティ到来後はコンピュータ（人工知能）が世界を支配すると、デストピア的未来像を描き、正しい倫理観や人間にフレンドリーな性質をもったAIを模索しつつ、現在、各社が競って行っている人工知能の研究開発が止まる可能性を探るも、軍事ロボットやトレーディングシステムなど例に挙げ、金儲けを第一に考える限り難しいと悲観的な結論で終える。統合情報理論だと意識とは多様性があって、統合があると理論付けされ、これだけなら2045年頃に人工知能が意識（自我）を持ちそうですが、まだまだ意識を生み出すには至らなく、人間にとって超便利な道具に留まると私は思います。

投稿元：

レビューを見る

最近、人工知能に関する話題を良く耳にする。
たとえば、IBMが開発したワトソンが人気クイズ番組で勝利したことや、ソフトバンクからペッパー君が発売され、人間の表情を読んで、ユーザーと対話することができるロボットの登場などは記憶に新しい。

まさに子供のころにマンガやアニメでみたロボット時代の到来がすぐそこまで来ているのだ。
困ったときにはロボットが助けてくれるし、家事や洗濯もしてくれる。将来的には仕事だってしてくれるかもしれない。
なんてステキな世界だろう！

と思っているのは少しいや大分、楽観的なのかもしれないと本書を読むと理解することができる。

仮に、ある企業または個人が人工知能の構築に成功したとしよう。
初めのうちはサル並みの知能や子供の原始的な知識しかないのかもしれない。
しかし時間がたつと幼児、そして少年並みの知能を持つようになる。
そして最終的に大人の知能を持つようになる。
問題は２つある。
一つは、知能の発達が大人のそれを大きく凌駕する可能性があることである。
おそらく開発された人工知能のプログラムはかなり高性能のパソコンを使っていると予想される。そうでないとしても現在、個人が使うパソコンですら1秒間に10の9乗回計算ができるのだ。
我々はいままで何回「何か」を経験し、これまでの知能にまで発達したのだろうか。
自ら学習できる人工知能は、回数を重ねればそれだけ知能の向上に期待できる。それゆえに、その知能は人間のそれでは理解できなくなる可能性がある。
そうなるとどうなるか？
そう、人工知能はもはや人間のサポートを必要としなくなる。
我々、人間はアリの知能がもったいないからと言ってアリを殺さないだろうか？
殺さないまでも、危害が加わらない限り特に気にしないというレベルではないだろうか。
まったく同じ議論が人工知能と人間でも成り立つ。
ここが本書のポイントその１である。
いったん自己組織化された人工知能は、人間の手の離れ高度に発達し、人間に危害を加える可能性がある。

この話を聞くと、十分監視したうえで人工知能を管理しておけば全く問題ないじゃないか、という考えが当然のように思い浮かぶ。
が、問題その２。
はなしていったん構築し、学習を始めて人工知能は管理できるのかという問題である。
最大の懸念は、学習速度である。
前述したように最初はサルや幼児なみの知能しかもたないのかもしれないが、徐々に知能を発達させていく。
が、その発達していくスピードはおそらく非常に早い。
なぜならば数秒もあれば、いままで人類が記録してきた文字をインプットして、互いがどのように関連しているのか学習できるスピードを持つからである。
気づいた時には時すでに遅し。
人工知能は、こうなることを予測し対抗手段をすでに講じているかもしれない。
恐怖時代の幕開けである。
このフェーズに来てしまうと、もはや打つ手がない。

人間はいまだ経験したことのない事象にはリスクを小さく見積もる傾向にある。
この問題についても大部分の人は、その通りだろう。

将来、よくあるロボット映画よろしく、Happy endで終わることができるよう、これからこのテーマがよりよく議論される必要があると思うし、その時代に来ているのだとも思う。

投稿元：

レビューを見る

人工知能の開発がこのまま進めば知能爆発が起き、人類が絶滅する危険が迫っている。けっしてSFの世界の話ではなく、現実味を帯びている。フレンドリーAIの開発には決して脆弱性は許されない。そんなことは無理だろうし、一度その一線を超えてしまえば取り返しは付かない。知能爆発が起きる以前に、現代の、コンピューターに全てを任せている世界は既に脆く危険な状態にある。

投稿元：

レビューを見る

昔から、人間が生み出した科学技術が暴走して人類存亡の危機を招く、というストーリーの小説や映画は多いし、またスティーヴン・ホーキング氏やイーロン・マスク氏、あるいはビル・ゲイツ氏などが人工知能の危険性を憂いている、という話を最近チラホラ聞くようになった。
いわゆるシンギュラリティや知能爆発といった概念を含め、AIを巡る現在の環境の輪郭を知るのにこの本は非常に有用な1冊。
ジャーナリストである著者も、先述のテクノロジー系セレブリティたち同様、将来的にAIが人類の脅威になり得ることを真剣に心配しており、その危険性を説くというのが本書のメインテーマなわけだが、情報技術の専門知識を持たない私にとっては、その憂慮に至る論理は充分理解できるものの、では実際にどのような技術がどう進化・作用して、具体的にどのような経緯を辿ってどんな危機が発生し得るのか、そのメカニズムを明確なイメージとしてつかむことは難しかった。
もちろん、遺伝的アルゴリズムやニューラルネットワークといった、興味深くて門外漢にも分かりやすいブラックボックス的なメソッドなどを提示し、またAIによる"衝動"といった概念なども用いて、そのあたりについても著者はある程度の紙幅を割いてはいるのだが、それでも肝心要のところがミッシングリンク化しているというか、本当に知りたいプロセスの本体が、イマイチポヤッとしているような気がして仕方がなかった。
あるいはそもそも私自身が、AIの知能が人類のそれを上回る、という発想に根っこの部分で懐疑的であるから、こうした感想を抱いたのかもしれないが。
あと、本書はおそらくは著者渾身の、全15章にも渡るヴォリュームの大作なのだが、同じ主張を形を変えて繰り返している箇所が多く冗長に感じたので、もっと合理的にシェイプアップして過不足なく内容を著すこともできたのではないだろうか。

投稿元：

レビューを見る

人工知能というと、なにやら役に立ちそうな明るい未来がありそうな感じがしますが、人類が手にしてはいけないオーバーテクノロジーなのかもしれません。
現在でも人工知能に類するものが動いていますが、指数関数的に知能が上がると人に手が負えなくなってしまうという印象を受けました。
今はIoTという技術、3Dプリンター、インダストリー4.0と、どんどん周りがシステム化されます。
でも、たかだかパソコンのWindowsでさえ、Windows Updateという名のバグの修正をしています。人間の仕事が完璧でない以上、人工知能を制御しきれないという危惧をいだきます。でも、囚人のジレンマさながらに開発は止められない。本当にこの本に記載されているようなことが起こりそうで怖いです。

投稿元：

レビューを見る

AIに関する悲観的な本。
シンギュラリティを迎え、AIはいわゆる知能爆発の状態に達する。その後は自分で自分のプログラムを改善し始めるため、コントロールできなくなる、AIも自分の存在自体が目的となり、人類はAIによって滅ぼされるだろう。

と、いう仮説を補強するために、AI界の著名人数名にインタビューを行う。ただし、著者のAI悲観論の根拠としてはAIは指数関数的に進歩していくし、それを止めようとしてもできそうなことは誰かがするだろうし、なんと言っても先行者利益は極大だというだけで、技術的な側面にはほとんど触れられないまま。ニューラルネットワークのように、プログラムはできても中身がブラックボックスになっている（＝何を考えているのか分からない、怖い）という情緒的な反応も強いようだ。

・この問題に関してはI.J.グッドの１９６５年の論文にある「最初の超知能マシンは、人類が作るべき最後の発明品となる」という一文を引用されることが多いけれどこれは実はその後にまだ文章が続く。「だたしそれは、その機械が十分に従順で、自らをどのように制御すればいいかを我々に教えてくれる場合に限られる」と。つまりこれはAIによって人類が滅ぼされるということを主張しているのではなく、AIが自律的に発展していくようになって人類は苦役から開放されるという楽観的な見方を語っている。

・チェスはすでに人間はAIにかなわない。が、チェスに必要な合理的思考の能力は進化上比較的新しい能力で、せいぜい１０万年程度だろう。もっと古い能力、たとえばコーヒー豆を探してコーヒーを淹れるというような周辺の情報を知覚して目的にそった行動をとるような能力に関してはAIはまだまだ人間に敵いそうにない