大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界 （岩波科学ライブラリー）

投稿元：

レビューを見る

直近の状況の紹介だけでなく、言語モデルの歴史や仕組みが開設されていて勉強になった。
読む前は、所詮は確率的に文章生成するだけだと考えていたが、人間の思考や認知の仕組みと対比して考えてみると、人間の思考回路も過去の学習経験に基づいて確率的に生成されるもの、ではないかと思うようになってきた。
さらに未来への妄想を膨らませると、こういったAIモデルたちが、電源確保などの自己維持・自己繁栄の認識を持つようになって、人間に依頼や干渉をしてくるようになると新たな戦争が始まりそうな気もしてきた。

投稿元：

レビューを見る

ChatGPTのベースになるLLM (大規模言語モデル)についてとても簡潔に解説された本。著者はPreferred Networksの創業者の方で、同社のエンジニアからも多くフィードバックをもらったとのことで、その点でも安心できる。

LLMの成功の鍵となる各要素、自己教師あり学習、汎化、言語モデルのべき乗則、創発、宝くじ仮説、目標駆動学習(RLHF)、自己注意機構、本文中学習、メタ学習、などの説明は簡潔でわかりやすい。

幻覚の課題は大きいが、実際にはChatGPTなどプロンプト事例を引きながら使い倒していくのが、まずは個人的観点からは最初の第一歩になるだろう。実社会では、特定用途への最適化、学習のローカライズ、プライバシーの課題のためにいったんは多くのLLM対応のSI事業が出てくるのではなるのかもしれない。インターネットの黎明期にWebサイト構築業者が出てきて、そして集約されていったのと似たようなことが起きるのだろうなと思う。

予測モデルのフィードバックがLLMでも有効であることなどは、フリストンらが提唱する自由エネルギー原理などの脳や意識の仕組みとの類似性がこの本でも色濃く感じられた。著者も指摘するように、大規模言語モデルがこれだけうまく働くことから、大規模言語モデルを研究することで、人が言語をどのように理解し、それを用いて世界をどのように認識をしているのかを理解できることを期待している。驚くほどの類似が、意外に正解に近づいているのではないかと思わせるのだ。

ひとまず、大規模言語モデルを短期間で理解するには最適な本のひとつ。

投稿元：

レビューを見る

著者の前作（AI技術の最前線）は全く理解不能な内容だったが今回は一般読者向けを意識したのか、最新の技術が平易に解説されている

・LLMは、人間のように家族がいることなどによる価値観を有しておらず、身体性をもつことから生じる世界の理解もない。おそらくこのシステムが人間の知能と同じになることはない

・価値観や偏見をめぐる判断は人間のフィードバックによる強化学習で行っている

・LLMが次の単語を選ぶメカニズムとしては、英語の穴埋め問題を思い浮かべるとよい、というのはなんとなく腑に落ちる。確かに、あれは周辺情報から次の単語を高い確率で選ぶ例になっている。

・モデルとしては、小さいもののほうが効率よく学習できていると思われていたが、大きいものほど効率的であることがわかった。今後もよりパラメータの多い、大規模モデルの開発が予想される。

投稿元：

レビューを見る

大規模言語モデルに関する最初の一歩としては、質量共に十分な一書。

できること、リスク、背景技術、歴史など肝を押さえた記述だ。

これからの利用にあたっても、背景技術が分かると、さらに効果的な使い方ができることを予感できた。

投稿元：

レビューを見る

大規模言語モデルについて、素人にもわかるようにまとめた本。

確かに、わかりやすく噛み砕こうとしてくれている感じはあり、なんとなく雰囲気を掴むことはできた。しかし、それでも内容は難しく、十分に理解したとは言えない。
ところどころ、文章として読みにくい箇所があった点は惜しい。

投稿元：

レビューを見る

一回AIとはどういうものかをかじって概略の知識があり、さらにそのかじった時にニューラルネットワークについてある程度かじった人には、とても具体的でわかりやすい本だと思います。『ＣｈａｔＧＰＴの全貌　何がすごくて、何が危険なのか？ (光文社新書 1267)』などを読んだ後に読むとよいのでは。

投稿元：

レビューを見る

大規模言語モデルを「数式を使わず」に(つまり、数学分からない人間に)解説するもの。
その意味でわかり良い本の最高のものとおもいました。
二回、読みました。
数ヶ月したら「続編」(この分野は激しく変わっていくので)を出して欲しい。この内容をより充実させ、新しい状況に対応したものを期待したい。

投稿元：

レビューを見る

LLMについて、そのすごさは触ることで感じ取ることができるが、なぜすごいのか、どのような仕組みになっているか理解することは難しい。前提となる知識があまりに多いのだ。
しかし本書ではわずか130ページ程度のボリュームにエッセンスを凝縮し、しかも数式を使わずにわかりやすく解説するという離れ業に挑戦し、成功している。

投稿元：

レビューを見る

県立長野図書館イベントに参加した方より、参考図書として紹介されていたとのことで読んだ。
ChatGPTがなぜここまでのスピードで発達のか、これまでの機械学習の仕組みとの比較でわかりやすく解説されていた。
それ系のものは結局まだ活用していないのだけど、（プライバシーを開示しすぎない程度の）ほどよい距離感で活用するのでも、楽になる場面は増えそう。

投稿元：

レビューを見る

【星:3.5】
本書のテーマに対する私の知識不足が原因と思われるが、色々分からないところがあった。

本書は一般向けとの事であるが、多分AIとかに一定レベルの知識を持った一般の方向けというこだと思う。

ただ、理解出来た部分については色々と参考になり、今後AIについての一定程度の知識が必須となることは肌身で感じることができた。

投稿元：

レビューを見る

ChatGPTをはじめとするAIチャットサービスの裏側を一般向けにわかりやすく解説していた。難しい内容だが図解も使ってかなり理解しやすかった。

投稿元：

レビューを見る

岡野原大輔「大規模言語モデルは新たな知能か」読了。Google検索よりもChatGPTを利用する頻度が増えた。本書を読んで大規模言語モデルが構築されるまでの経緯や原理の面白さ以上にモデルを大きくすると非線形に問題が解けるようになる汎化の謎や普遍文法との関係性に新しい知性の萌芽を感じた。良書。

投稿元：

レビューを見る

大規模言語モデルが現在どこまで辿り着いているよかが平易な文章でよく理解できました。

通常は学習させればさせるほど、データ量が多ければ多いほど過学習が起こり、汎用的なモデルにならない所が、ブレイクスルーできている点が最も大きい。汎用的な知識に近いものが獲得できている所がすごい。あとはハルシネーションに対する対応がどうなるか次第だと思います

投稿元：

レビューを見る

話題のChatGPTに使われるLLMをわかりやすく説明した良書．私にとっては第6章が一番興味深い内容であった．MLPと注意機構の役割が説明されているのを見るのは，本書が初めてである．数式がないので，文系の人を含めて多くの人にお勧めできるが，内容はかなり高度である．

投稿元：

レビューを見る

言語モデルが意味や構造を理解していると想定できると書かれていた。意味が分かるとは思っていなかったが、意味が分かっているという結果が出ているようだ。内部構造を分析することが難しいようだが、ぜひどうやって言語モデルが考えているのかを解明してもらいたい。