『日経サイエンス2023年10月号』

『Newton2023年10月号』 - logical cypher scape2とともにこちらもLLM特集で、両方読むことで理解が深まった

日経サイエンス2023年10月号 [雑誌]

オウム以上フクロウ未満?　生成ＡＩの“思考力”　　G. マッサー

確率論的オウムとも言われるが、学習していないことも返してきて、オウム以上なのではないか、と。
プログラムについて聞くとよく答えてくれるのは知られているが、プログラムの実行も実はできるという報告がある。OpenAIは、プラグインで他のアプリを動かす機能も提供しているが、それを使わずに。
あと、オセロをやらせると、人間と同様にその内部で盤上の状況を確認しながらやってる、とか

大規模言語モデルとは何か　　出村政彬

どの言葉と一緒に使われやすいかという共起関係を数値化する。「リンゴ」と「赤い」はよく一緒に使われるけど、「リンゴ」と「白い」はそうではない。逆に「雪」と「白い」は多いとか。例えば、リンゴについて、赤いの重み付けは１０、白いの重み付けは１みたいな感じで表していく(これだと赤いと白いの2次元だが実際には何百次元とか)のを分散表現という。これが「リンゴ」の意味を表していると考える。
2013 word2vecは、意味の足し引き、例えば、「Paris-France+Japan＝Tokyo」のような処理を可能にした。
GPTとBERTは事前学習の方法が違う。BERTは「穴埋めクイズ」だが、GPTは「単語生成クイズ」なので、事前学習で単語の意味だけでなくタスクの解き方についてもある程度学んでいることになり、ファインチューニングが少なくて済む。
大きいニューラルネットでいいんだという研究者の感想（過学習を気にして、これまであまり大きなニューラルネットはよくないのではという説もあった）
脳との類似？
コラム　unknown unknown　

脳とAI 溶ける境界　大規模言語モデルが開く脳の理解　　平 理一郎／丸山隆一

脳は座標系をもつ
→視覚、聴覚などの各モダリティや、空間や時間について、低次の処理においては、神経細胞にマッピングされている。
バインディング問題＝こうした低次処理をどう統合しているのか、という問題
文を処理する際、単語それぞれの意味だけでなく、語の順序も大事。バインディング問題と類似。
transformer→順序の情報を（単語の意味に）単純に加算している。
今までバインディング問題を解決する方法が色々提案されてきたが、神経回路で実装できるのかという問題があった。
その点、加算は神経回路で実装しやすい（ただし、ベクトルの内積はどうよ、という問題はあるようだが）。
実際、transfromerは海馬の数理モデルと対応しているという研究がある。
ただ、大脳新皮質は対応をとるのが難しい、とも。
ブザーキという研究者は、心理学的概念を用いずに脳機能を研究すべきだと主張しているらしく、消去主義っぽいなあと思った。

タンパク質を語る言語　　出村政彬

transformerをタンパク質の研究に応用する試みがある。タンパク質はアミノ酸の連なりなので、それを言語に見立ててtransformerに学習させる。
望むタンパク質の構造を出力させることができる。
タンパク質工学とハルシネーションとの相性の良さのようなものが指摘されている。今までなかったタンパク質を生み出すことができる。
現在、無数のモデルが誕生しており、それぞれのモデルの能力を評価するベンチマークが十分に整備されていないという問題がある。
ゲノムについても同様の研究が進んでいる。
タンパク質やゲノムのように言語以外に適用されるものについて一般化して「基盤モデル」と呼んで研究が進められている。将来、デジタルツインによる科学研究ができるようになるかもしれない。
また、研究というもののあり方自体が変容するかもしれない。論文も「論文ベクトル」となっていくかもしれない。そうなった場合、科学の将来はどうなるのか

「理解」はどう変わるか 瀧雅人氏に聞く

科学とは、帰納バイアスによって範囲を狭めることで普遍法則を導くこと。コンパクト化することが「理解」
帰納バイアスの一つとして、例えば「オッカムの剃刀」などがある。
科学モデルで想定されているものと対応するものが現実世界に実在するとは限らない。
「クォークがある」のではなく「クォークのような振る舞いをするような現象が起きている」のかもしれない。後者を切り落とすのがオッカムの剃刀。
しかし、これに対して「エピクロスの多説明原理」というのもある。複数の説明を同時に残しておくというもので、深層学習の研究はむしろこの方向の方が適している、とか。ただ、人間の理解におさまらなくなる可能性はある。
深層学習は、帰納バイアスをできるだけかけず、データを増やす方向で進む。
（人間はビッグデータ処理しきれないから、帰納バイアスによって縮減を図ってきた）
ある課題について全然解けなかったのが、データサイズがある閾値を超えると急に解けるようになる。つまり、能力の創発が起きている。
モデルが現実世界に対応しているかは究極不可知であり、モデルはその説明能力ではなくその予測能力によって評価されるべきだという考えもある(例えば、統計学の赤池による)。

エンケラドゥス・プローブの憂鬱　　柞刈湯葉

自然言語処理AIを搭載した探査機「エンケラドゥス・プローブ」の一人称の語りによるSF小説
現地で、効果的なデータ処理を行うためにAIが搭載されている。
トラブルが発生し一時期燃料の酸素を失うが、エンケラドゥスの内部から噴出した酸素によって回復する。噴出する酸素と有機物の発見は生命の可能性を高めるものだが、地球側の大衆はむしろ、トラブルに自力で対処した探査機そのものへと関心を向ける。
結果、地球からはエンケラドゥスの酸素と有機物を燃料として地球に帰還せよ、という命令がくるが、探査機は、無人機の利点は帰還しなくてもいいことなのに、これが前例になってAIは帰還させる必要がでてきたらよくないのでは、と悩む。

脳は内から世界をつくる　　G. ブザーキ

脳はタブラ・ラサのような「外から内へ」モデルではない。知覚は能動的なものなのであり、内から外へモデルなのだ、と。（このあたり、予測的符号化とか自由エネルギー原理的な話かなあと思ったけど、ブザーキは理論家ではなくむしろ実験家寄りの研究者らしくて、そのあたりのキーワードは特に出てこなかった）
外から内へモデルで作られたAIは、学習を続けると崩壊するというカタストロフィック干渉という現象がある。
オキーフの場所細胞の研究と、それを踏まえたブザーキの回し車の実験
同じメカニズムは複数の役割を持つ。場所細胞は計画細胞だったりもする。

翻訳者によって、ブザーキの3つの主張がまとめられている。
１．神経活動の意味は内から与えられる
２．脳はタブラ・ラサではない
３．心理学的概念からではなく脳内の現象から研究を行うべき

小惑星サンプルリターン　オシリス･レックス まもなく帰還　　C. モスコウィッツ

オシリス・レックスのミッション概要まとめみたいな記事だった。

ADVANCES　イヌイットの算術

イヌピアック語のカクトビック数字について
10進法とは異なる数字。ある時期は教えなくなって絶滅寸前だったが、最近、注目されるようになっているとか
チェロキー数字というのもある。