大規模言語モデルは新たな知能か　ＣｈａｔＧＰＴが変えた世界

投稿元：

レビューを見る

この先世界を変える「生成系AI」。まず知りたいのは、6章の「大規模言語モデルはどのように動いているのか」ってこと。テキスト生成AIの仕組みを理解したい

#大規模言語モデルは新たな知能か
#岡野原大輔
23/6/20出版

#読書好きな人と繋がりたい
#読書
#本好き
#読みたい本

https://amzn.to/3qYcbmY

投稿元：

レビューを見る

大規模言語モデル(LLM)のことを数式を使わずに説明してくれている。
LLMとは、次の単語を予測する予測マシーンとのこと。連続で次の単語を予測していって文章になると。
6章を読めば、LLMがどう動いているのかがザックリと理解できる。

この本を読んで、人間がどうやって言語を習得していくのか、興味を持った。

投稿元：

レビューを見る

大規模言語モデルの正負両面について専門家が初心者向けに書いた本。
序章で初心者向け、とは書かれていたがIT完全初心者の私にはところどころわからないところがあった。
実際には、ある程度ITにかかわる仕事をしていたり、興味を持っている方向けの難易度だと思われる。

本書の中で何度も繰り返されていたことは、
①大規模言語モデルは間違える（存在しない記憶を作り出す）ことがある
　⇒機械以外の第三者の裏どり、間違っている可能性をもって自分で考える必要性
②大規模言語モデルは「道具」であり「人間」ではない
　⇒うまく使えば有益であるが、機械であるが故に基本的な常識や価値観がかけていることを理解した上で使う必要がある

投稿元：

レビューを見る

大規模言語モデルを一般向けにやさしく解説した本です。130ページなのですぐに読めます。特に興味を持ったのは、チョムスキーの普遍文法との関係ですね。チョムスキーは、人は生まれつき何らかの普遍文法を持っていると主張しました。一方、著者は、大規模言語モデルの成功を受けて、言語は学習しやすいデータであり、ひとはそれを学習できる汎用学習器を生まれつき持っていると言います。

投稿元：

レビューを見る

話題のChatGPTに使われるLLMをわかりやすく説明した良書．私にとっては第6章が一番興味深い内容であった．MLPと注意機構の役割が説明されているのを見るのは，本書が初めてである．数式がないので，文系の人を含めて多くの人にお勧めできるが，内容はかなり高度である．

投稿元：

レビューを見る

岡野原大輔「大規模言語モデルは新たな知能か」読了。Google検索よりもChatGPTを利用する頻度が増えた。本書を読んで大規模言語モデルが構築されるまでの経緯や原理の面白さ以上にモデルを大きくすると非線形に問題が解けるようになる汎化の謎や普遍文法との関係性に新しい知性の萌芽を感じた。良書。

投稿元：

レビューを見る

LLMについて、そのすごさは触ることで感じ取ることができるが、なぜすごいのか、どのような仕組みになっているか理解することは難しい。前提となる知識があまりに多いのだ。
しかし本書ではわずか130ページ程度のボリュームにエッセンスを凝縮し、しかも数式を使わずにわかりやすく解説するという離れ業に挑戦し、成功している。

投稿元：

レビューを見る

一般向けの書籍としてPFN代表が著した本書。無駄な誇張がなく、現実的な未来ある技術として地に足のついた理解が進んだ。
大規模言語モデルは、答えを設定してテストドリブンで開発する手法とは違い、複雑なアルゴリズムを組んでデータを読ませてみて、その結果を分析したり研究したりする手法だったのか。

投稿元：

レビューを見る

初学者向けに現在の大規模言語モデルの潮流と技術的背景、リスクなどをわかりやすく解説した書籍。

非常に興味深く読ませてもらった。今後の技術発展が気になるところ。

投稿元：

レビューを見る

直近の状況の紹介だけでなく、言語モデルの歴史や仕組みが開設されていて勉強になった。
読む前は、所詮は確率的に文章生成するだけだと考えていたが、人間の思考や認知の仕組みと対比して考えてみると、人間の思考回路も過去の学習経験に基づいて確率的に生成されるもの、ではないかと思うようになってきた。
さらに未来への妄想を膨らませると、こういったAIモデルたちが、電源確保などの自己維持・自己繁栄の認識を持つようになって、人間に依頼や干渉をしてくるようになると新たな戦争が始まりそうな気もしてきた。

投稿元：

レビューを見る

幻覚の克服はできるのか…頻度を減らすことはできるのだろうけど、ゼロにはできないのだろうなと思う。GoogleのBERTモデルの基本思想が分かった。「苦い教訓」面白そうで読んでみたい。結局、モデルとか手法を人知を加えてこねくり回すより計算能力(とデータ量？)で殴った方が良い精度が出るっぽい、ということか。モデルサイズの冪乗則と創発現象。モデルの重みパラメータは学習時以降固定だが、自己注意機構がパラメータを一時変更したかのように挙動するためメタ学習として本文中学習が可能となる。そしてRLHFによるモデル修正。
AIの適切な利用には人類の倫理観の成長が求められるフェーズになってきているが、この分野を中心とした科学技術全般の発展が楽しみで仕方ない。限りある人生の中でその劇的な発展を見届け、あわよくば貢献できればと思った。

投稿元：

レビューを見る

PFN副代表である岡野原氏による、大規模言語モデルの平易な(=数式を使わない)解説書。巷でよく言われているような主張(AIが今の仕事を置き換えるかもしれないが別の仕事を生み出す、LLMには責任は取れないが最初の相談相手としての価値はある、等)も多かったが、それを専門家である岡野原氏が語っているところに一つの価値があるように感じた。
個人的に面白かったのが、人間が作り出したはずのAIにおいて「なぜそういう挙動をするのか分からない」という事象が沢山あるということ。「一般にモデルのパラメータは多すぎると過学習を起こすが、深層学習等はモデルパラメータ数が大きければ大きいほど精度があがる、その理由は明確には分かっていない(仮説が幾つかある)」といった話は、この手の分野では起こる事象が全て説明可能であるイメージが強かった自分にとっては新鮮だった。
この分野は動きも早いため、今後も継続的に注視していきたい。

投稿元：

レビューを見る

ChatGPTをはじめとするAIチャットサービスの裏側を一般向けにわかりやすく解説していた。難しい内容だが図解も使ってかなり理解しやすかった。

投稿元：

レビューを見る

大規模言語モデル（ChatGPT）の仕組みを解説した本です。数式無し。
素人でもわかりやすいように平易な言葉で書いてあって、とてもわかりやすい。とても良い本ですね。
面白いのは、なぜこんな事ができるのか、理由ははっきりしていなくて、現在研究中という所ですね。理屈は分からないが、できてしまった、なんて、大丈夫かそれ、と思ってしまいます。
でもその辺が解明されると、人が言語を習得していく理屈も分かるのかもしれません。ほんとに分かるのだろうか。関係者の人頑張ってください。

投稿元：

レビューを見る

著者の前作（AI技術の最前線）は全く理解不能な内容だったが今回は一般読者向けを意識したのか、最新の技術が平易に解説されている

・LLMは、人間のように家族がいることなどによる価値観を有しておらず、身体性をもつことから生じる世界の理解もない。おそらくこのシステムが人間の知能と同じになることはない

・価値観や偏見をめぐる判断は人間のフィードバックによる強化学習で行っている

・LLMが次の単語を選ぶメカニズムとしては、英語の穴埋め問題を思い浮かべるとよい、というのはなんとなく腑に落ちる。確かに、あれは周辺情報から次の単語を高い確率で選ぶ例になっている。

・モデルとしては、小さいもののほうが効率よく学習できていると思われていたが、大きいものほど効率的であることがわかった。今後もよりパラメータの多い、大規模モデルの開発が予想される。