TLで論文pdfのリンクが流れてきたので、特集の論文を3つとも読んでみた。
賀沢 秀人「深層学習は認知科学の対象となるか」
深層学習は認知科学の対象となるか
認知科学が対象にするのが、何らかの意味で知的に(ヒト的に)振る舞っているシステムだとした上で、深層学習で作られたシステムが、そのようなシステムかを考えた上で、なお、深層学習と認知科学の関係について提案する
まず、ヒト的というのを、観察可能な振る舞いがヒト的という意味で「外的にヒト」と、情報処理のレベルでヒト的という意味での「内的にヒト」とに区別した上で、深層学習で作られたシステムは、外的にヒトだとは言えるが、(部分的に類似しているとはいえ)現時点で内的にヒトとは言えない、とする。
(ところで、深層学習は、初期において人間の脳神経系の仕組みを参考にしていたが、現在はもはや人間の神経系を参考にしていない。この点について、鳥と飛行機の関係で喩えていて、なるほど、わかりやすいなと思った(定番の比喩なのかもしれないが)。つまり、飛行機は鳥のように飛ぶために作られたけど、実際の仕組みはもはや鳥とは関係ないし、今更、鳥の仕組みを取り込んだりしていないという意味)
で、その上で、認知科学の構成主義的アプローチとして深層学習が使えるのではないかという点と、逆に、深層学習を理解可能な形にする(モジュール化するなど)のに認知科学が使えるのではないかという点を、認知科学と深層学習の今後の関係として提案している
丸山宏「人の心に似た機械を設計できるか」
人の心に似た機械を設計できるか
ちなみに、TLにリンクが流れてきたのはこれ
深層学習は、計算は計算でもアナログ計算
計算を、仕様の観点から分類する(古典計算、モデル化可能計算、部分再現可能計算)
人間の知能ってそもそも仕様が書けるの?
→現在のプログラム開発の現場においても、事前に仕様が書けないことが前提になってきて、アジャイル開発とかに移行している。人間の知能も、仕様が動的に変容するものとして枠組みを作らないといけないかもしれない
知能と言っても、色々な種類がある。また、人間の個体だけが知能をもっているわけではない(地球外文明から地球を見たら、個体ではなく人類全体として、こういう知能を持っていると考えるだろう的な話が)。人間の知能と機械の知能をあわせた超知能について考えてもいいのではないか、とか
松尾豊「深層学習と人工知能」
深層学習と人工知能
深層学習は、それによって知能とは何かという科学的探求の側面と、それを技術として応用していくという工学的な側面とがあり、後者が重要だとされているが、筆者は、近年、前者が重要になってきたというシフトが起きてきていると考えている。
具体例として、トランスフォーマと自己教師あり学習を用いた大規模言語モデルの成功を挙げている。
一方で、大規模言語モデルの課題として(1)複数の行為の系列からなる処理が苦手(2)実世界の経験や行動に基づく知識の処理が苦手。課題2は、いわゆる記号接地問題
自己教師あり学習を用いて「世界モデル」を作ろうとする研究が最近盛んになっているという。
それにつながるものとして、画像と言語を結びつける研究がある。
自己教師あり学習の最終層のひとつ手前では,うまく学習するとdisentangleされた表現が得られている.(中略)例えば,顔画像であれば「目の大きさ」「ひげがあるか」「若いか年寄りか」「男性的か女性的か」などはdisentangleされたものであり,それぞれの要素を独立に変化させることができる.(中略)disentangleされた表現を得ることさえできれば,あとは言語で条件づけた深層生成モデルを用いて,さまざまなデータを生成できるということになる.これは,簡単にいえば「想像する」ということ
深層学習を用いた「想像」という、とても面白そうな話をしているが、一体、具体的にはどういうことかというと、こんなことが書かれている
OpenAIが2021年1月に公開したDALL-Eというモデルは,(中略)例えば,an armchair in the shape of anavocadoという文を入力すると,アボカドの形をした椅子が画像として生成される.
GANの話を知ったときもすげーなーと思ったけど、こっち(ちなみにこっちの画像生成はGANではない)も面白い。確かに「想像」と言えるかもしれない。
なお、ググったらすぐ出てきた上に、すでに100以上ブクマがついていた
openai.com
また、先に挙げた課題(1)については、筆者の仮説として、時間についての取り扱いを考え直す必要があるのではないかと論じている。