金井良太『AIに意識は生まれるか』

意識研究についての本
とても明快で読みやすく、そして面白い
この本は、著者自身の研究史に沿って進む(子供の頃、こういうことが気になる子供で、大学ではこういうことをして、どこどこに留学してこれの研究をして~)ので、それがこの本の読みやすさにつながっている(科学系読み物ってこのパターン結構あるような)。
そういうわけでサクサク読めるのだが、様々な概念や理論の説明が簡にして要を得ているように思えた。
あくまで一般向けに書かれた本で、専門的・学術的に記載されているわけではないのだろうが、しっかりエッセンスが捉えられているように思えた。


筆者の金井良太については、旧twtterでフォローしたりしていて以前から知っていたし、アラヤという会社をやっているのも知っていたが、どういうことを考えているかなどをまとまって読んだことはなかったので、面白かった。


筆者は、意識の統合情報理論(IIT)+グローバル・ワークスペース理論で意識を説明しようとしている。
IITについてみんな誤解している、IITこそ真の意識理論だ、ということをPart7で説明しているのが、本書のハイライトとなる。
IITについてのよくある誤解は、自分もまさにそう思っていたものがあったので、「そうだったのか」と思いながら読んだ。
それから本書のタイトルは「AIに意識は生まれるか」であるが、これについてはPart9で触れられている。ただ、これについてはあんまりよく分からないなという印象だったが、そもそも、なんでAIの意識について考えているか、という動機が、渡辺正峰とほとんど同じなのが面白かった。
渡辺は、IITについては否定的ではあるものの、渡辺いうところの「意識の自然則」の候補の一つがIITであり、自身のライバル仮説として認めている。
で、意識の自然則を検証するためには、人工的に意識を作って、脳を接続して、意識が発生しているかどうか確かめるしかない、と渡辺はいうわけだが、金井も全く同じことを言っているのである*1
意識の研究をするには大学にいてもお金が足りないので起業した、というところも、2人の共通点だろう。


今月の当ブログ、乾敏郎・門脇加江子『脳の本質』 - logical cypher scape2で始まって、これで終わるのなかなかよい感じ(その間に読んでいたのは、脳も意識も関係ない本だけど)
脳・意識関係の本について、引き続き読みたいと思っている(他ジャンルの本と交互に読んでいくと思うが、とりあえずここ数ヶ月くらいは優先するテーマにする予定)。

1 世界はフィクションかもしれない

筆者の高校時代から大学時代まで、どのような興味関心をもっていたか、という話
ハイデガー読んでたとか何に興味を持っていたのかの話もそれなり興味深いが、まあここでは省略
大学4年くらいの時か、ラマチャンドラン「クオリアの三原則」という論文を読んで、クオリアという言葉を知るとともに、意識が科学的に研究できることに驚いた、という


自分はなぜかラマチャンドランを読んでいないのでちゃんと知らなかったのだけど、ラマチャンドランもクオリアに言及してたんだな。

2 意識とクオリアの謎

意識のハードプロブレムなどについて。


意識には、現象的意識とアクセス意識という2つの側面があるということを、簡潔で明快に説明してあって、よかった。

  • クオリアの4つの特徴

デネットが、哲学で伝統的にクオリアの特徴付けとされているものと紹介したのが以下の4つとのこと
1.言語によって表現できない
2.内在的
3.個人的
4.直接的
筆者は、これらは確かにクオリアの特徴だと思えるが、科学的にはアプローチしにくい、と。ただ、4だけは研究の対象にしやすい特徴だとしている。

  • ラマチャンドランによる「四大法則」

ラマチャンドランによる特徴付けの方が、科学的にはアプローチしやすい、と。
1.撤回不可能性
2.柔軟性
3.短期記憶との関係
4.注意との関係
「撤回不可能性」というのは、認知的侵入不可能性のことでもあるなあと思った
認知的侵入が可能か不可能かというのは知覚の哲学で話題になることだけれど、知覚経験というのは、現象的意識と限りなくイコールだと思うので、これが出てくるのは妥当かなと思う
「柔軟性」というのは、クオリアというのは情報として柔軟な使い勝手があるっていう話で、あとでグローバル・ワークスペース理論と関わってくる
3と4について、筆者は、ラマチャンドランがこれを書いたときはクオリアの特徴としてあげられてたけど、研究が進むにつれて、短期記憶や注意は、クオリアの特徴ではないことがわかってきたよね、と注釈している

3 意識を研究する

この章は、大学院進学の頃の話など
学生時代の土谷尚嗣との出会いなどが語られている。2人で論文をかたっぱしから読んだ話など。本書の巻末に、土谷との対談も収録されている。
ロゴセシスが来日する予定があって、それで両眼視野闘争の論文を読んだとか(実際にはこの来日は実現しなかったらしいが)
それから当時の意識研究の雰囲気として、意識に着目する研究者は増え始めていたが、予算申請とか論文とかに「意識」って書くと採択されないっていう状況で、意識はCワードと呼ばれていた(代わりにawarenessとかattentionとか使われていた)、という有名な話があるが、下條信輔が「クオリアは下ネタだね」という冗談を言っていたらしい。
筆者と土谷の2人は、コッホや下條のいるカルテクへの進学を希望していたが、金井は入試に失敗し、ユトレヒトへ。しかし、土谷はカルテクへ行くことになったらしい。
ちなみにコッホ『意識の探求』を2人で翻訳している。

4 意識のありかを探せ

当時の意識研究は、NCC探しが中心
コッホ偉いよね、という話と、NCCとは何かという話
筆者もNCC探しをしはじめた。
大学院は、前の章にもあった通りユトレヒトなのだが、長期休みのたびにカルテクの下條研に潜り込んでいたらしい。


細かい話だが、視覚の説明がなされている中で、外側膝状体にはパーボ経路とマグノ経路があるよという記述があって、聞いたことない名前だけど腹側経路と背側経路に似ているなと思ったら、それらが大脳では腹側経路と背側経路につながっているらしい。

  • NCCの弱点

いくつかの理由でNCC探しは行き詰まり始める
まず、意識の局在性が怪しくなってきた
脳のネットワークに注目すべきだが、それには技術的制約が大きい(fMRIではむり)
また、実験が色々行われるうち、意識と注意、意識と報告が区別されるようになっていって、実験がシンプルでなくなってきた
あと、そもそもNCC見つけてもハードプロブレム解決できない

5 クオリアが作り出すフィクション

クオリアは世界と脳との間のインターフェース(フィクション)だ、と。
筆者は「フィクション」という言い方を気に入っているようで、本書では多用されている。ただ、個人的には、本書での登場頻度は低い(1回くらいしか使われていない)けど、「インターフェース」という言い回しもいいかな、と思う。
フィクションでも別に意味は通じるものの、フィクションという言葉は意味が広すぎるので
ユーザー・イリュージョンという言葉もあったな、と思い出しつつ
このあたりは以前渡辺正峰『脳の意識機械の意識』 - logical cypher scape2を読んだときの感想にも書いたのだけど

そもそも、これは生成モデルがどうの以前の話だけれど、自分が外界として知覚している経験って全て脳内で生起している一種の幻想であるというのは想像するとなんかすごいなあ
外界だと思ってるけど、脳内で生起している現象であるということが、脳は外界の中の一部分だと思っているけれど、この外界は全て脳の内部なんだ。


もともと視覚について研究していたが、時間についても。
時間の研究は、「同時性」や「時間の長さ」からアプローチされている。
同時じゃないものを同時だと感じてたり、いろいろ、脳がつじつま合わせをしている(時間についてのフィクション)


それから、筆者が見つけたものとしてヒーリング・グリッドという錯視がある。
これは、視覚がボトムアップだけでなく、トップダウンの経路も用いていることを示している。
もちろんこの、トップダウンうんぬんは、ヘルムホルツから始まる奴である。

トップダウンの流れとボトムアップとの流れが出会ったときに、脳内で情報の共有が発生し、それが意識になるのではないかと思っている。これは、後で説明する「グローバル・ワークスペース理論」のブロードキャストに相当するのではないかと考えている。
p.101

ところで最近、山形浩生で谷淳の説を紹介していた。

意識というのが必要なのは、脳からのトップダウンの命令と、感覚器からのボトムアップの刺激反応とが矛盾する場合だ。その両方がぶつかることで、その判断の回路に決定論的カオスが生じる。それが意識なんだ、と谷は主張する。
意識・知性・良心? Conscousnessの混乱 - 山形浩生の「経済のトリセツ」

まあ、金井と山形=谷とでは違う話をしているとは思うのだけど、トップダウンとボトムアップがぶつかる場所に注目している点は似ていて、「おっ」となった。もっとも、今、脳を研究している人はみんなそこに注目しているかもしれないが。
カオスが重要、というのは時々見かける主張なのだけど、まだ自分はよくわかっていないので、この谷の本もあとで読んでみたいとは思っている。


さて、トップダウンとボトムアップの話はいったんここで切り上げて、本章ではあと、クオリア空間の構造ないし秩序の話をしている。
赤とオレンジは似ているとか、そういう秩序がクオリアにはある、と。それで独自の構造を持っている。
現実世界にもやっぱり構造があって、クオリア空間と何某か対応しているんだ、と
最近の人工知能研究の言い方をするなら、クオリア空間の構造というのは「世界モデル」といってもいい。

特定のクオリアが特定の質的経験を伴うのは、蓄積されたクオリア空間の構造という「文脈」によって、今現在の経験を「解釈」するからではないだろうか。
p.108

6 内側から見た意識

ユトレヒトで博士号をとったのち、晴れてカルテクの下條ラボにポスドクとして入ることができた。が、ハーバードへ「家出」するようになった、と。下條からは、正式なメンバーじゃない時はよくきていたくせに、正式なメンバーになった途端来なくなって変な奴だなあと言われていたとかなんとか。
筆者は当時、頭頂葉へ注目していたという
「NCC探しというより意識的な知覚を維持しているものを突き止めるための研究」(p.118)だったのではないかと振り返る。
カルテクでのポスドクの任期が切れたのち、ロンドンのUCLのポスドクに

  • ジョージ・スパーリングによる1960年の実験と「報告できない意識」

3列のアルファベットを覚えてもらう実験で、意識されているけれど報告できない状態というのがあることがわかる。
ここから、意識の2つの段階が考えられるようになる。
現象的意識の段階があって、その中から注意の働きによって報告可能な段階(アクセス的意識)へと引き上げられる
現象的意識とアクセス的意識の区別が科学の俎上にあがってきたわけだが、筆者はここで、もともとの現象的意識とアクセス的意識の区別と、ここでいう区別は、異なっていることを指摘する。
もともと、現象的意識とアクセス的意識とは、意識の2つの「側面」であった。現象的意識とアクセス的意識とは、あくまでも同一のものであって、見方によって、現象的であったりアクセス的であったりと異なる側面を見せるのだ、と
ここでは、それが、異なる「段階」にすり替わってしまっている、と
筆者は、この2つはあくまでも「側面」であることにこだわりたい、と
ここは結構、重要な指摘であるような気がした。

  • グローバル・ワークスペース理論

1980年代 バーナード・バースらによって提唱された
「モジュール」どうしで情報の共有をするところ=グローバル・ワークスペース=意識
スポットライト(注意)
「情報のまとまりが他のモジュールにとって利用可能(アクセス可能)」=意識
意識に上がる場合、脳内のネットワークが活動するけれど、意識に上がってこない情報処理の場合、局所的にしか脳内が活動しない、というところからも支持される。
筆者は、「脳内のある情報のまとまり」を外側からみるとアクセス意識、内側からみたらクオリアなのだ、と述べる

7 意識の統合情報理論

2012年 サセックス大で准教授となる(パーマネント職)
サセックス大に来たのは、予測符号化理論から意識を研究しているセスからの誘いがあったから、と。
フリストンがUCLにいたので、筆者はUCL時代に、自由エネルギー原理について触れることもあった、と。
筆者は、予測符号化理論を自由エネルギー原理の応用、というように表現していた
予測符号化理論、予測最小化理論、自由エネルギー原理と、なんか名前がいろいろあるけれど、これらの関係が、自分にはまだいまひとつよくわかっていない(大雑把な説明だけ聞くと大体同じものに見えるのだが、完全に同じものではないんだよな、と。そこの差異があんまり理解できてない……)。
本書では、Part5でもヘルムホルツの話をしていたが、筆者の中で、このあたりの理論をどのように位置づけているのかはあまりはっきり書かれていなかった気がする。


さて、筆者はそういう影響もあって、実験科学から計算論へと、研究がシフトしていったという。
で、筆者は割と研究分野をころころ変えている方で、研究者としてはわりと珍しい方だ、と述べている。


そうして筆者は、トノーニの統合情報理論(IIT)と出会う。
で、IITはとても誤解されているという。
しかし、超重要理論で、意識の研究者は、IITを理解できているか否かで区別されるという。

  • 誤解されているポイント

1.IITはとても難しい
→数理的にとても難しい
2.IITはバージョンアップを重ねている
→2023年現在Ver.4だそうで、世にあるIIT解説の中には、古いバージョンに基づいているものもある
3.IITは意識の指標ではない
→IITは、統合された情報こそ意識そのものである、という主張であり、意識の指標ではない!
これは僕自身ジュリオ・トノーニ/マルチェッロ・マッスィミーニ『意識はいつ生まれるのか――脳の謎に挑む統合情報理論』 - logical cypher scape2を読んだ際に、意識の指標だと認識していた。なので、IITはまあいいか、というような認識でいた。
IITの哲学的な側面があまり理解されていない、という言い方も筆者はしている。
4.IITはハードプロブレムを解消する
統合された情報は必然的に意識(意識の自然則に相当)
3のように、統合された情報を意識の指標だと考えると、IITでハードプロブレムは解消できない、という理解になるが、そうではないといこと


情報とは何か
統合された情報とは何か
部分を変えると全体も変わっちゃう、というのが統合。
統合された情報について、『別冊日経サイエンス AI 人工知能の軌跡と未来』 - logical cypher scape2にあった「意識版チューリングテスト」を思いだした。って、これまさにコッホとトノーニがいってる話だ。


IITは、情報を内在的にみる
統合された情報とは、対象についての情報ではなく、自分自身についての内在的な情報
IITは汎心論的な理論である。
IITは内から見る理論であり、その点で現象学的である(トノーニ自身がそういっているらしい)
それゆえに、IITはハードプロブレムをさかさまにしている、と。
ハードプロブレムというのは、客観的・物理的な世界にどうやって主観的な意識が存在しているのかという問題が、IITは、そもそも「主観的な意識は存在する」というのを所与の前提としてスタートする理論なので、考え方が逆


IITは、以下、第0公理から第4公理までの5つの公理をもつ
意識はどうして生じるのか、ではなく、意識は存在する、ということを公理としてそこから始めるのがIIT
0.意識は存在する
1.意識には構造がある
2.意識は情報である
シャノンの情報理論的には相関関係でも因果関係でも情報だが、IIT的には因果関係でのみ情報は成立
3.意識は統合されている
4.意識は排他的である


クオリアとは、「コンセプト」の特定の配置
コンセプトというのは、色、形、空間、明るさなど
コンセプトは、階層構造をもつ
物理世界に対応していないコンセプトもある(痛みなど
このあたり読んでて、うーんカントっぽいと思った(その連想が正しいかどうかはわからないけど)。


意識をもつための条件として、「情報が統合されている」「情報が再帰している」を挙げている
中国語の部屋は、再帰がないし、情報が構造化されていない、ので意識を持っていない
(ここでいう条件と、さっきでてきた公理の関係が微妙によくわからんが)


IITには反証可能性がない?
→だから、人工的に意識を作って確かめてみる
(IITに限らず「意識の自然則」はすべてそういうことになりそう)
渡辺正峰『意識の脳科学 「デジタル不老不死」の扉を開く』 - logical cypher scape2では、IITの研究者は、IITを検証不要のものとして扱っていて評判が悪い、ということが書かれていたが、IITの建付け(?)がまあそうなっているということなのだろう。


IITの困難としては、計算量が膨大になりすぎるというのがある
人工意識なら、計算可能な範囲で作れるのでは、というもくろみでもあるみたい。

8 意識を作る

この章は、最近の筆者の関心事がまとめられているという趣


これまで意識研究の実験では、「個人の中での差」を見てきた、と(両眼視野闘争でどっちが見えるかとか、錯視の実験でどう見え方が変わるかとか)
しかし、「個人間での差」も大きくて、これもみていきたいよね、と。


それから、この章で取り上げられているトピックとしては、以下の通り。
神経倫理学(という語は出していなかったが気がするが、『脳に刻まれたモラルの起源』という本を出していると)
再現性の危機
起業

9 意識を持つAI

2015年からアラヤで「人工意識」をテーマに


LLMはφをもつか
IIT的に現代のコンピュータではだめ、ということになっているらしい。
また、LLMには再帰がないのでむり、という話もあるが、これについて筆者は、フィードフォワードも再帰とみなせるのではないの、みたいな話をしている。


意識があると情報の使い勝手がよくなる
意識の機能は「反実仮想」「世界モデル」
筆者は、意識がグローバル・ワークスペースと考えているが、人工意識として機械にグローバル・ワークスペースをもたせると、プラットフォームないしOSとして働くんじゃないか、というようなことが書かれていたと思うが、ここらへんはあんまりよく呑み込めていない。

10 人工意識とクオリアの意味

AIアライメントにも興味がでてきたよ、という話をしている。
自由意志や好奇心をAIにもたせると危険だが、逆に言うと、人間に従うように作られている限りはAIは安全なのでは、というのが筆者の考えらしい。


それから、筆者が最近唱えているという「クオリア主義」について
世間や社会での価値(お金とか名声とか)じゃなくて、自分が感じる幸福を大事にして生きる方がいいよ、という主張であり、その主張自体は非常に妥当なものだとは思うのだが、その主張に「クオリア主義」という名前をつけるのは、あんまりピンと来なかった。
自分自身の感じることを大事にしよう、ということで、その自分自身の感じている感じってクオリアのことだから、クオリア主義って呼ぶのも間違いではないものの、何というかそう呼ぶことで、クオリアという語に、価値的なニュアンスが付加されてしまうよなあ、と

対談 金井良太×土谷尚嗣 意識研究の「二重らせん」

学生時代からの友人?同志?である2人の対談
面白いのは、興味をもつタイミングが違う、と
クオリアの構造に着目する、というのも、金井が先にそういうことを考えたのだが、それを話したとき、土谷は全然ピンとこなかったらしい(今は、土谷はクオリア構造学というのをやっている。考え方としては似ているが、土谷は圏論を用いてそれをやろうとして、金井はそれは面白いと思いつつも圏論までは手を出していない感じ)。
IITについても、最初に興味をもってこれはすごい、となったのは金井の方で、土谷はあとからトノーニと話をして、IITを評価するようになったらしい。
(ところで、元々「ダイナミック・コア」と呼んでいたよねという旨の発言があった。ダイナミック・コア仮説はエーデルマンの主張の名前だったと思うが、エーデルマンとトノーニは師弟関係があるらしく、なんか関係しているんだろうなあとは思っていたのだが、やはりエーデルマンの説を継承した上で発展させたものっぽいな)
グローバル・ワークスペース理論については、今のところ、土谷は納得しておらず、disり気味であるw
また、土谷は起業はしていないしビジネス系のことには全く興味がなかったらしいが、教授になりお金をとってくる必要がでてくると、そうも言っていられなくなって最近読む本がビジネス書ばかりになったという。

グローバル・ワークスペースのこととか

グローバル・ワークスペース説って、心の哲学や意識の科学の本を読んでいると、わりと名前はよく見かけるのだが、自分の読んだ範囲では、グローバル・ワークスペース説に同意している立場のものを読んだことがなかった。ので、その点は面白かった。

土谷尚嗣『クオリアはどこからくるのか?』 - logical cypher scape2では、グローバル・ワークスペース説は意識ではなく注意についての理論だったと整理しており、他にもそういう風に整理されているのを見たような気がする。
本書では、グローバル・ワークスペースこそ意識という感じで書かれているが、しかし、本書の説明を読んでも、意識より注意の話なのでは、という気はしてしまう。
『シリーズ新・心の哲学3意識篇』(佐藤論文・太田論文) - logical cypher scape2では、佐藤論文において、グローバル・ワークスペース説や予測符号化理論などが比較されていた。
また、同書では、太田論文が「意識の統一性」について論じている
太田による「意識の統一性」解説は『ワードマップ心の哲学』(一部) - logical cypher scape2にも
意識の統一性と、統合的であることが関係しているのかどうかよくわからないが……。
あと、統一性と現象性の関係とか。
そういえば土谷尚嗣『クオリアはどこからくるのか?』 - logical cypher scape2を読んだときの自分の感想を読むと、自分は、IITにおける「排他性」と意識の統一性が似ているんじゃないかという感想を抱いたっぽい


そのほか、関連
ジュリオ・トノーニ/マルチェッロ・マッスィミーニ『意識はいつ生まれるのか――脳の謎に挑む統合情報理論』 - logical cypher scape2
ジェラルド・M・エーデルマン『脳は空より広いか』 - logical cypher scape2
渡辺正峰『脳の意識機械の意識』 - logical cypher scape2
渡辺正峰『意識の脳科学 「デジタル不老不死」の扉を開く』 - logical cypher scape2
『科学2023年6月号』(特集:意識とクオリアの科学は可能か?) - logical cypher scape2

*1:ちなみに本書の参考文献に渡辺本が挙げられていて、本文でも言及がある。そもそも2人はかつて同時期に下條研に在籍していたことがあり、そのことについては渡辺本に書かれている