科学基礎論学会の「源河亨著『知覚と判断の境界線 :「知覚の哲学」基本と応用』合評会」において、飯島さんの発表から興味を惹かれて（美学会・科学基礎論学会・科学哲学会 - logical cypher scape）、ちょっと神経科学関係についてざっとあさってみたくなった。
飯島発表
飯島和樹「神経科学は知覚と判断の境界について何を言うか」（科学基礎論学会・予稿）
http://phsc.jp/dat/rsm/20171006_19.pdf
知覚について、ベイズ的なメカニズムが働いているという説が有力説となってきているという話が面白かった。
レジュメに図がはってあるのだけど、これによると、130msのあたりで、一次視覚野より先に前頭葉が発火しているらしい。
フィードバック処理の配線が非常に多くて、6割は上から下へと向かう配線だとか。
脳の視覚のプロセスにおいて、一次視覚野→二次視覚野→……とボトムアップしていくだけでなく、トップダウンの経路があって云々というのは以前から知っていたけれど、ベイズ的な事前確率ないし仮説を立てていて、それを修正していくことによって現れるのが知覚なのだ、というのかなり面白そうだな、と思った。
以前、『思想2016年4月号』（特集：神経系人文学――イメージ研究の挑戦） - logical cypher scapeにも、かなり初期段階で高次の処理が行われていたということが書いてあったけど、もしかして、これがつながる？
いくつかググってみつけたもの
柴田和久「解説—神谷之康 ASCONE2006 講義 ベイズで読み解く知覚世界」
https://www.jstage.jst.go.jp/article/jnns/14/4/14_4_313/_pdf
これはまさに、ベイズと知覚の話で、特に、触覚に関わる錯覚現象の説明をベイズモデルで与えることができた、ということが書かれている。
田中宏和「計算論的神経科学のすすめ」
http://www.jaist.ac.jp/~hirokazu/Site/Publicatons_files/TanakaBusseiKenkyu2009.pdf
これはまだ読んでない。
何となくこの「計算論的神経科学」がキーワードなのかな、という感じ
吉田 正俊「よくわかるフリストンの自由エネルギー原理」
吉田 正俊「駒場学部講義2017 「意識の神経科学：盲視・統合失調症・自由エネルギー原理」講義資料」
https://www.nips.ac.jp/~myoshi/komaba2017/
飯島さんの発表で出てきたフリストンで検索すると、この自由エネルギーというのがよく出てくる。
予測誤差最小化理論
『ワードマップ心の哲学』
後日、『ワードマップ心の哲学』（一部） - logical cypher scapeを読んで、このベイズ的な仕組みの名前が分かった。
上のブログ記事に既に書いたが、もう一度引用しておく。
予測誤差最小化(prediction error minimisation）または予測処理（predictive processing）または予測符号化(predective coding）
フリストンのグループを中心に展開
知覚・注意・夢・情動・社会認知・精神疾患など心を理解するための統一的な理論
脳が暗黙的な推論をしているという考えは、ヘルムホルツやグレゴリーが先駆者
脳＝近似的なベイズ推論を行うメカニズム
ベイズ推論自体は計算的に負荷が高い
予測誤差最小化＝近似的にベイズ推論を行う仕組み
疑似的な感覚刺激を生成する「生成モデル」をもち、疑似的な刺激と実際の刺激との誤差を計算し、誤差が最小化されるようにモデルを修正していく
（中略）
下位レベルから上位レベルへ予測誤差が送られていく
最初は、「知覚 ベイズ」とかでググっていたので、「予測誤差最小化」とか「予測コーディング」とかで改めてググり直して見つけたのが以下。
「【報告】Jakob Hohwy 連続講演会報告」
【報告】Jakob Hohwy 連続講演会報告（前半） | Blog | University of Tokyo Center for Philosophy
【報告】Jakob Hohwy 連続講演会報告（後半） | Blog | University of Tokyo Center for Philosophy
フリストンと共に研究を行っているJakob Hohwy による連続セミナーの様子
東大の信原さんのほか、飯島さん、『ワードマップ心の哲学』で予測誤差最小化理論の項目や『新・心の哲学 意識編』で同理論を取り上げている佐藤さんも報告者として名を連ねている。
予測誤差最小モデルが、認知侵入可能性、言語処理と行動、自閉症と統合失調症、注意、意識の私秘性、社会的認知など包括的に適用されている様がわかる
小嶋 蘒三「予測する脳」
http://cognitivens.web.fc2.com/pb1.pdf
予測誤差最小モデル（Predictive coding ）の視覚に関する話
Predictive coding を支持する実験結果について多く紹介されている。
なお、urlの「pb1」を「pb4」とかにすると他者理解への適用などについても紹介されているっぽい。
このような立場は運動・行為だけでなく感覚・知覚、さらには脳の働き一般についても重要になりつつあると思われる（例えば、predictive coding, Bastos et al., 2012; predictive brain, Clark, 2013）。
（中略）
このような考えは小脳の研究を行っていた Ito によって提案されていた（例えば、Ito, 1993）。さらに、この考えは社会的な交渉の理解に拡張され（Wolpert et al., 2003）、一方、報酬や強化学習の研究は、報酬予測誤差が学習の原動力であり、中脳のドーパミン細胞がこの報酬予測誤差に応答することが見出され、新しい展開があった（Schultz et al., 1997）。
このような流れは、感覚知覚の領域にも新しい潮流を生んだ（Rao & Ballard, 1999; Friston, 2005; Bastos et al., 2012; Clark, 2013 など）。そして今や、脳機能を統一的に捉える「標準理論」と目されるようになった。
predictive coding はそれよりもはるかに本質的で、感覚・知覚、認知、運動・行為、情動・動機づけ、社会的認知など脳機能を統一的に理解しようとする（例えば
Clark, 2013）。この考えによると、脳の機能の核心は入力の予測と、予測と実際の入力との差、予測誤差 prediction error を最小にする点にある。predictive coding の考えは Helmholtz まで遡るが、かれは知覚を確率的な知識により駆動される推論 inference と考えた。
なお、皮質に error unit と representation unit の存在を仮定するが（図 1-4 はその一例）、それらのunits も予測と誤差の神経機構もまだ同定されていない。後で述べるが、Shipp et al. (2013) は predictive coding のためにあるべき回路網を考えている。しかし、まだ推測の状態にある。
Predictive coding -Wikipedia
https://en.wikipedia.org/wiki/Predictive_coding
上でも参照されてるけど、アンディ・クラークが何かまとめ論文書いているっぽい。
クラークの考え方と予測コーディングって親和的なのかちょっと疑問なのだが、『ワードマップ心の哲学』（一部） - logical cypher scapeによると、やはり、拡張された認知との相性の悪さは指摘されているものの、クラーク自身は適合すると論じているらしい。
アンディ・クラーク「Whatever next? Predictive brains, situated agents, and the future of cognitive science.」
http://www.fil.ion.ucl.ac.uk/~karl/Whatever%20next.pdf
https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/whatever-next-predictive-brains-situated-agents-and-the-future-of-cognitive-science/33542C736E17E3D1D44E8D03BE5F4CD9/core-reader#
英語なので読んでないけど、項目だけひろって目次をつくってみた
ヘルムホルツ、フリーエネルギー、ベイジアンな脳など、ここまでで出てきたキーワードが見当たる。
1. Introduction: Prediction machines
1.1. From Helmholtz to action-oriented predictive processing
1.2. Escaping the black box
1.3. Dynamic predictive coding by the retina
1.4. Another illustration: Binocular rivalry
1.5. Action-oriented predictive processing
1.6. The free energy formulation
2. Representation, inference, and the continuity of perception, cognition, and action
2.1. Explaining away
2.2. Encoding, inference, and the “Bayesian Brain”
2.3. The delicate dance between top-down and bottom-up
2.4. Summary so far
3. From action-oriented predictive processing to an architecture of mind
3.1. The neural evidence
3.2. Scope and limits
3.3. Neats versus scruffies (twenty-first century replay)
3.4. Situated agents
4. Content and consciousness
4.1. Agency and experience
4.2. Illuminating experience: The case of delusions
4.3. Perception, imagery, and the senses
4.4. Sensing and world
5. Taking stock
5.1. Comparison with standard computationalism
5.2. Conclusions: Towards a grand unified theory of the mind?
Helmholz's insight informed influential work by MacKay (1956), Neisser (1967), and Gregory (1980), as part of the cognitive psychological tradition that became known as “analysis-by-synthesis” (for a review, see Yuille & Kersten 2006)
(...)
Helmholz's insight was also pursued in an important body of computational and neuroscientific work. Crucial to this lineage were seminal advances in machine learning that began with pioneering connectionist work on back-propagation learning (McClelland et al. 1986; Rumelhart et al. 1986) and continued with work on the aptly named “Helmholz Machine” (Dayan et al. 1995; Dayan & Hinton 1996; see also Hinton & Zemel 1994). 2 The Helmholtz Machine sought to learn new representations in a multilevel system (thus capturing increasingly deep regularities within a domain) without requiring the provision of copious pre-classified samples of the desired input-output mapping. In this respect, it aimed to improve (see Hinton 2010) upon standard back-propagation driven learning. It did this by using its own top-down connections to provide the desired states for the hidden units, thus (in effect) self-supervising the development of its perceptual “recognition model” using a generative model that tried to create the sensory patterns for itself (in “fantasy,” as it was sometimes said).
(...)
see, for example, Kawato et al. (1993), Hinton and Zemel (1994), Mumford (1994), Hinton et al. (1995), Dayan et al. (1995), Olshausen and Field (1996), Dayan (1997), and Hinton and Ghahramani (1997).
It is this twist – the strategy of using top-down connections to try to generate, using high-level knowledge, a kind of “virtual version” of the sensory data via a deep multilevel cascade – that lies at the heart of “hierarchical predictive coding” approaches to perception; for example, Rao and Ballard (1999), Lee and Mumford (2003), Friston (2005). Such approaches, along with their recent extensions to action – as exemplified in Friston and Stephan (2007), Friston et al. (2009), Friston (2010), Brown et al. (2011) – form the main focus of the present treatment. These approaches combine the use of top-down probabilistic generative models with a specific vision of one way such downward influence might operate. That way (borrowing from work in linear predictive coding – see below) depicts the top-down flow as attempting to predict and fully “explain away” the driving sensory signal, leaving only any residual “prediction errors” to propagate information forward within the system – see Rao and Ballard (1999), Lee and Mumford (2003), Friston (2005), Hohwy et al. (2008), Jehee and Ballard (2009), Friston (2010), Brown et al. (2011); and, for a recent review, see Huang and Rao (2011).
§1.1
ヘルムホルツの洞察→グレゴリーらへと、アナリシスオブセンシスとして知られる認知心理学の伝統
ヘルムホルツの洞察は、逆誤差伝播法にも→ヘルムホルツ機械→生成モデル
このあたり、ヒントンやラメルハート、マンフォードの名前のほかに、川人光男の名前もあがっている。Kawato(1993）
その後、知覚研究にいって、マンフォードに加えて、フリストンが出てくる。Friston(2005）
これがさらにフリストンによって行動の研究へと拡張されていく。
Recent work by Friston (2003; 2010; and with colleagues: Brown et al. 2011; Friston et al. 2009) generalizes this basic “hierarchical predictive processing” model to include action. According to what I shall now dub “action-oriented predictive processing,” 12perception and action both follow the same deep “logic” and are even implemented using the same computational strategies. A fundamental attraction of these accounts thus lies in their ability to offer a deeply unified account of perception, cognition, and action.
§1.5
フリストンの最近の研究によって、行動も含むかたちで一般化されている、と
コオロギは哺乳類と同じく「驚いて」学習
https://www.hokudai.ac.jp/news/171101pr.pdf
北大のプレスリリース
昆虫の脳にも予測誤差最小化理論
この記事は、しんかいさんのツイートで知った→https://twitter.com/shinkai35/status/937651338099376128
本
『つながる脳科学』
理化学研究所脳科学総合研究センター編『つながる脳科学』（一部） - logical cypher scape
今回、調べようと思った予測コーディング理論に関わるような話は特にないが、いくつか面白そうな項目があったので読んでみた。数理的な脳科学研究など。
とにかくオプトジェネティクスすごいんだってことが分かる
リチャード・グレゴリー『脳と視覚――グレゴリーの視覚心理学』
リチャード・グレゴリー『脳と視覚――グレゴリーの視覚心理学』（一部） - logical cypher scape
飯島さんの発表でグレゴリーの名前が出てきていたので、とりあえず手に取ってみた。上述クラーク論文にもグレゴリーの名前がある。
甘利俊一『脳・心・人工知能』
甘利俊一『脳・心・人工知能』 - logical cypher scape
計算論的神経科学について何か分かるかなーと。
脳神経科学研究と人工知能研究のあいだにどのような歴史的経緯があるのか
多少は知ってるつもりだったのだが、読んでみたら全然知らない分野だということに気づけたのでよかった
佐藤亮司「視覚意識の神経基盤論争：かい離説の是非と知覚経験の見かけの豊かさを中心に」
『シリーズ新・心の哲学３意識篇』（佐藤論文・太田論文） - logical cypher scape
予測コーディングでググっていたときに、以下のようなブログ記事を見つけたのをきっかけに読んだ。
近年さまざまな分野で話題となっている予測コーディング。その考え方と使い方を哲学の方面から紹介するおそらく最初の邦語文献という点でも意義深い一本です（この方面での第一人者ヤコブ・ホーウィ氏が東大で行った講義のまとめもネットでみれます）。
「視覚意識の神経基盤論争：かい離説の是非と知覚経験の見かけの豊かさを中心に」 佐藤 (2014) - えめばら園
デビッド・マー『ビジョン』
デビッド・マー『ビジョン――視覚の計算理論と脳内表現――』（一部） - logical cypher scape
計算論的神経科学の古典ということで
ただ、序論をぺろっと読んだだけでほかは断念
渡辺正峰『脳の意識機械の意識』
渡辺正峰『脳の意識機械の意識』 - logical cypher scape
たまたま、このタイミングで出た新刊
ビバ中公新書
予測コーディング理論は出てこない（参考文献にもフリストンやホーウィは見当たらない）のだが、本書の主張を支えている概念が川人とマンフォードそれぞれによって提唱された「生成モデル」である。
この本を読んだ時は、ここで出てくる「生成モデル」と、予測コーディング理論で出てくる「生成モデル」が同じものなのか分からなかったのだが（ただし、書かれている内容的に明らかに予測コーディングの話をしている）、上述したクラーク論文をパッと眺めてみたら、Kawatoの名前があったので、話としては繋がっていると理解してよさそう。
あとは、日本語で書かれた説明のレベルでは同じようなことを述べているわけだが、数学的レベルでどうなのかというのが、数学わからないので全く判断できない。
というのは、逆誤差伝播法と予測コーディング（ベイズ推論）の関係、というか。
「この2つ似たような話しているなー」というぼんやりとした気持ちがあって、本書ではまさしく生成モデルについて、逆誤差伝播法から話をつなげていく形で書かれているのだけども……。
逆誤差伝播法にしろベイズ推論にしろ、そのものズバリの計算を脳がやっているわけではないらしいけど（逆誤差伝播法しているような神経回路が見つかっていない、ベイズ推論は脳がやるには計算負荷が高すぎる）。
谷口忠大『記号創発ロボティクス』
谷口忠大『記号創発ロボティクス』 - logical cypher scape
今回、この本を読んだわけではなく、別件で自分のブログエントリを読み返していたら
計算論的表現にもさまざまな流儀がありえる。ニューラルネットワークを用いた力学的表現を中心的に用いるグループもあるし、ベイズ理論を基づく確率モデルを用いるグループも多い。(...)一方で、数学的には一部のニューラルネットワークがベイズ理論に基づく確率モデルとして表現されうることなどが示されており、知能の計算論的表現も確率モデルに基づいた共通の数学的土台の上で統合の方向に向かいつつあるように思う。
とこの本の中に書いてあったらしい
これは！
