Chat GPTの教科書
監修・松尾豊
Transformerは、単語同士の意味の近さをベクトルの内積で表現する
うーん、概念としては分かるけど、わからん
まあそれはそれとして、Transformerは、画像生成AIにも使われているし、AlphaFoldのようなタンパク質の立体構造解析AIにも使われている、と。なるほど。
もともとニューラルネットは、脳の仕組みを模倣したものだけど、一方で、独自の進歩を遂げてきたので、ディープラーニングとかはもう脳とはあんまり似てない、とも言われている。しかし、最近Transformerを使って、海馬のモデル化とかができるようになってきているらしい。Transfomerの仕組み＝実際の脳の仕組み、というわけではないが、Transformerを使って実際の脳と同じ出力ができるようになってきているので、脳の研究に使えるだろう、という話。
規模が大きくなると能力も向上するスケール則というのがあるが、従来のAIだと限界があって、それが過学習と言われている。ところが、GPTはスケール則が成り立っていて、これ自体が謎、と。
何故スケール則が成り立っているか、松尾が注目している仮説として「宝くじ仮説」がある。で、これが脳の成長における「シナプスの刈り込み」に似ている、と。まず、大規模なネットワークがあって、そこから適切なネットワークをピックアップしてくる、と。まあ、これはまだ仮説段階であり、シナプスの刈り込みとの類似も、なんか似てるなーレベルの話でしかない、と注意はされている。
それから、記号接地問題について。従来からAIの問題として指摘されていて、GPTにも同様の問題はあるとされている。解決には身体性が必要である、ということも。
ただ、松尾研で研究しているロボットは、人からの命令をロボットへの指示に変えるのにGPTを使っているし、そのほかの要素技術にも使われている、というところから、大規模言語モデルは、究極的には身体が必要であるにしても、既に言語の中には身体性由来の語彙があるので、部分的には意味の理解に達しているのでは、という話が少しされている。
他に、GPTは、クラウド（Azure）上で動いているのあって、手持ちのデバイスで動いているわけじゃないよという話から、消費する電力や水の話へ。AIによる環境負荷の問題。
それから、OpenAIのCEOが慶應に来たときの講演内容とかにも触れられている。
シンギュラリティ問題について、AI開発にもIAEAみたいな組織がいるのでは、みたいな話してて『BEATLESS』だって思った。
宇宙の未来
太陽系、銀河、宇宙全体という３つのスケールで、何千万年後とか何億年後とか何十億年後とかの話
まず近いところから。火星は将来輪ができる。フォボスが崩壊するから。一方、土星は1億年以内に輪がなくなる、と。このあたりはわりと最近ニュースとかで読んだ話なので知ってた。太陽は、将来ヘリウムの核融合が始まる（ヘリウムフラッシュ）。で、ヘリウムが全部炭素と酸素になると反応が終わって、白色矮星になるんだけど、これ、中身は密度の高い炭素である。結晶構造をとったらば「ダイヤモンド」だろう、と。つまり、太陽は将来「ダイヤモンド」になるのだ、と。括弧付きなのは、我々の知ってるダイヤとは性質が異なるから。理論的には考えられていたが、実際にどうなるかは分からない。しかし、最近結晶構造になっているだろう白色矮星は観測されはじめているとかなんとか。
次に、銀河の話。天の川銀河はいつかアンドロメダ銀河と衝突合体して、ミルコメダ銀河（ミルキーウェイとアンドロメダを組み合わせた造語）になるらしい、
銀河の中心には巨大ブラックホールがあるが、銀河同士が衝突すると中心にあるブラックホールも合体して、超巨大ブラックホールになる。
宇宙全体の話。銀河同士の合体は次々と進んでいき、最終的には全てがブラックホールになるらしい。
ブラックホールは、ホーキング放射といって蒸発していく。最後に残ったブラックホールが蒸発して消えるのが、この宇宙の最期らしい。
美しい結晶の世界
色々な鉱物の結晶写真が並ぶのだけど、ビスマスがあって、あ、これ『瑠璃の宝石』で読んだ奴だー、となった（読み始めたマンガ - プリズムの煌めきの向こう側へ)
進化をつづける産業用ロボット
手術支援ロボットとか自動車工場のロボットとか
物流ロボットが面白くて、倉庫で棚の上のレールを走って運ぶ奴とか。最後の解説でも、発想の転換で驚かされた的なコメントされてた。
