数理的神経科学の入門書的な本（講談社ブルーバックス）
（数理的ないし理論的）脳科学研究と人工知能研究の歴史を、個人的な研究史と絡めながら概説してくれている。
この本が出たばかりの頃、ちらっと見て、まあこのジャンルの概論なら心の哲学関連でも眺めているからいいかなーと思っていたのだけど、実際読んでみたら、完全に知識としては穴になっている部分だった。
- 作者: 甘利俊一
- 出版社/メーカー: 講談社
- 発売日: 2016/05/20
- メディア: 新書
- この商品を含むブログ (13件) を見る
数理的な脳神経科学として
（１）計算論的神経科学
（２）数理的神経科学
（３）シミュレーションによる神経科学
があげられている。
筆者（甘利俊一）は、Wikipediaでも計算論的神経科学者とされているし、計算論的神経科学の教科書とされる本の編者でもあるのだが、少なくともこの本の記述によれば、計算論的神経科学とは立場を異にするようだ。
第二次ニューロブームの際、ブーム終結後も、脳神経科学における「理論的」な研究の必要性というのは研究者の間で残った。
そこから生じてきたのが、計算論的神経科学と数理的神経科学だという。
筆者によれば、前者は脳の個々の場所でどのような計算が行われているか考えるもので、実験によってそういう神経回路が存在することを確かめながらすすむ。後者は必ずしもそうではない。脳に実装されているかどうかはとりあえず置いておいて研究していく立場だとしている。
筆者は、後者は少数派であり、自分は後者の立場であると述べている。
とはいえ、脳に実装されていないメカニズムをあれこれ考えても、脳についての研究にはならないはずなので、そこらへんのバランスは気になる。実際、筆者も、論文はいくらでも出せるけど色々な計算方法を考える職人芸になってしまうだけだと思って、別のジャンルに移ったようだし。
なお、（３）のシミュレーションについては、そもそも理論がわかってないものについてシミュレーションできたしても、わからないままなのでは、と述べている（シミュレーションが有効な分野は基礎的な原理は分かっている。脳は基礎的な原理すらわかってない）。
（全脳シミュレーションというのは、今いくつか計画がなされているところだと思う）
脳神経科学と人工知能の研究史としては、
第一次ニューロブーム（1960年代、パーセプトロン）
第二次ニューロブーム（1980年代、誤差逆伝播法）
第三次ニューロブーム（2000年代〜、ディープラーニング）
と
第一次人工知能ブーム（1950年代後半〜1960年代、ダートマス会議）
第二次人工知能ブーム（1970年代後半〜1980年代前半、エキスパートシステム）
第三次人工知能ブーム（2000年代〜、ディープラーニング）
ニューロブームと人工知能ブームは時期的に重なっているのだけど、第一次と第二次の期間においては、ニューロと人工知能との間ではむしろ対立があって、第三次にディープラーニングによって協調へと趨勢が変わった、というように書かれている。
ここらへんググってみると、川人光男が以下のように書いているのを見つけたりしたので、まあそうなんでしょう。
1989年には、当時のIBM東京基礎研究所の初代所長・鈴木則久さんと、人工知能とニューロの対決をし、鈴木先生は人工知能、私はニューロで侃々諤々と議論しました。当時は、第5世代コンピュータの記号処理などを人工知能と呼び、今、人工知能と呼ばれているディープラーニングは、ニューロというわけです。ニューロはようやく市民権を得たのに、ふと気が付くと、人工知能というふうに呼ばれている。研究分野名がハイジャックされたような気がします。
https://www.ituaj.jp/wp-content/uploads/2016/11/2016_11-01-Topics.pdf
これまで自分は、ニューラルネットワーク研究も、人工知能研究史の中で、古典的計算主義の限界がわかるようになってきて、コネクショニズムが生まれて現れてきたものだと思っていて、三層ニューラルネットワーク（パーセプトロン）が50年代後半に心理学者の方から発表されていたというのを全然分かっていなかった。
閑話休題
歴史の話としては、ブームとブームの間って研究が進んでいなかった時代と思われがちだけど、実は水面下で研究は地道に進んでいたんだよ、日本で（つまり筆者によって）ということが、筆者個人の研究史と絡めながら述べられている。
日本の他にもロシアなんかでも進んでいたらしい。あと、第三次ブームの火付け役となったディープラーニングは、第二次ブームの立役者でもあるカナダの研究者が、第二次ブームが終わった後もずっと研究を進めていた成果である。
そういえば、わりとどうでもいい話だけど、この本は筆者の個人的な思い出などもちょくちょく書かれており、その中でよく海外の研究者からこんなコメントをもらったみたいな話がある。で、「you」を全部「お前」と訳しているようで、年下の研究者からの敬意・賞賛の入ったコメントについても、誰それから「お前の論文は素晴らしかった」と言われた、と書いてたりして、なんかその「お前」の違和感が面白いｗ
第１章 脳を宇宙誌からみよう
第２章 脳とはなんだろう
第３章 「理論」で脳はどう考えられてきたのか
第４章 数理で脳を紐解く（１）：神経興奮の力学と情報処理のしくみ
第５章 数理で脳を紐解く（２）：「神経学習」の理論とは
第６章 人工知能の歴史とこれから
第７章 心に迫ろう
第２章 脳とはなんだろう
脳のしくみについていろいろ。前半は省略して一部
- ３つの学習システム
（１）教師あり学習
小脳の学習は大脳から教師信号がくる
（２）教師なし学習
自己組織化は教師なし学習
その際用いられるのがヘブ学習
（３）強化学習
両者の中間
予想された報酬と実際の報酬の差を教師信号とする。
期待との差によって放出される化学物質＝ドーパミン
- 脳の測定
第３章 「理論」で脳はどう考えられてきたのか
ニューロブームの歴史
- 第一次ニューロブーム
1950年代後半 ローゼンブラットによるパーセプロンの提唱
ローゼンブラットは、真空管を使って実際にパーセプロン装置を作ったらしい
実用化に向かないことやローゼンブラットが事故死したことで、ブームは終わっていく
ミンスキーによってパーセプロンの限界が示されたからこのブームは終わったと言われているが、筆者はこれを否定している。
- 1970年代 暗黒期
この時期にも実際には研究は進んでいたと筆者は述べる
パーセプトロンは、出力が１か０なので、出力層の学習だけで、中間層まで学習できない。
出力をアナログ関数にすることで、中間層まで学習できるようにする「確率降下学習法」を筆者は考える。
ロシアでは話題になったが、欧米では話題にならなかったという
15年後、同じアイデアが「誤差逆伝播法（バックプロバケーション）」という名前とともに発表される
- 第2次ニューロブーム
1980年代、認知科学と人工知能研究にみられた限界から、コネクショニズムを標榜する研究者たちによって神経回路の研究がブームを引き起こす
日本でも、多くの企業がニューロコンピュータ産業に参加しようとしたが、実際には実現には至らなかった
筆者は、第2次ニューロブームの残したものとして、計算論的神経科学と機械学習がそれぞれ分野として確立していったことをあげている
- 第3次ニューロブーム
いわゆるディープラーニング
第４章 数理で脳を紐解く（１）：神経興奮の力学と情報処理のしくみ
- 統計神経力学
個々のニューロンの興奮ではなく、神経集団のうち何割が興奮しているかというマクロな視点で見る
神経回路のダイナミクスについて、多安定や、興奮性のニューロン集団と抑制性のニューロン集団の間の発振、さらにはカオス現象などを見出せる
神経回路には安定状態が２つある双安定性があって、これが作業記憶の基礎になっている、と
- 神経場の興奮力学
大脳皮質とは2次元の面として広がっている
ある場所xにニューロンがあって、そこから距離x-x'の場所x'に別のニューロンがある
Xのニューロンが興奮し、その興奮がx'のニューロンへと伝わっていく
この興奮波がどのようなパターンを描くか
場の興奮波の双安定性→作業記憶の保持
なお、興奮性の要素と抑制性の要素がどのようなパターンを生じるかは、生命科学一般で興味を持たれている、と
その例がいわゆるチューリングも研究した反応拡散系である。
参考：近藤滋『波紋と螺旋とフィボナッチ』 - logical cypher scape
まさか、ここでこれとつながる話が出てくるとは！！
- 海馬における記憶のしくみ
海馬は長期記憶なので、興奮のパターンとして記憶を保持しているわけではない
ざっくりまとめてしまうと、シナプスの重みづけを重ね合わせて覚えている
この重ね合わせについて、ベクトルとか行列とかを使った式で説明されている
複数のパターンを重ね合わせているので、思い出すためにはこれを解かなければならない。
初期値をヒントとして安定平衡状態へたどり着くことで思い出す。安定平衡状態が覚えたパターン。
脳は記憶そのものを蓄えるのではない。これを思い出すための仕掛けを蓄え、ヒントから復元すべき情報を作り出す。だからときには間違えるし、思い出せないことも起きる。(p.121）
これって理化学研究所脳科学総合研究センター編『つながる脳科学』（一部） - logical cypher scapeで出てきたエングラムセオリーと一体どういう関係にあるんだろうか……
第５章 数理で脳を紐解く（２）：「神経学習」の理論とは
パーセプトロンの仕組みや確率降下学習法について
パーセプトロンは計算万能性が証明されている
問題点として
（１）非線形一般の問題として局所最適に陥る場合がある
（２）学習速度が遅い。学習が進まなくなる「プラトー」にはまることがある
→情報幾何学のリーマン空間の考えを用いて、素早い学習を可能にする方法がある
実際の脳はどうなのか
脳の神経回路の中に誤差逆伝搬のような事実はない
第2次ニューロブーム以降、実際の脳についての実験的研究を基盤にした計算論的神経科学と、機械学習の二つの方向に分かれた
- 多段階決定過程と強化学習
ゲームは局面を一つ一つ考えて勝利へと進んでいく、多段階決定過程である
状態遷移が確率的である＝マルコフ決定過程
マルコフ決定過程における学習戦略＝強化学習＝自分の予測に対する誤差を教師信号として使う
実際の脳ではどうか
サルについての研究で、期待と違っていた時にドーパミンが放出されることが分かっている
ドーパミンは、餌に対してではなく、予想よりよかった時に対して出ている（期待通りなら餌をもらってもドーパミンはでない）
- 自己組織化学習＝教師なし学習
ヘブ学習
実際の脳では
臨界期に、片目を隠すとどうなるかという実験
この実験の話は理化学研究所脳科学総合研究センター編『つながる脳科学』（一部） - logical cypher scapeの5章にも
網膜と皮質はともに2次元なので写像されているらしい。これを「レチノトピー」と呼び、レチノトピーも自己組織化されている
角度など2次元以外の情報は、皮質のコラム構造にのレチノトピーがある
第６章 人工知能の歴史とこれから
第1次人工知能ブーム（1950年代後半〜1960年代、ダートマス会議）→フレーム問題
第2次人工知能ブーム（1970年代後半〜1980年代前半、エキスパートシステムをきっかけとして）
ニューロブームを担う研究者と人工知能側の研究者とのあいだで、方法論的に懸隔があり、両者の討論会などがよくあったらしい
ここから出てきた新しい動きとして、ベイズ的な確率推論があげられている
第3次人工知能ブーム
IBMのワトソン、そしてディープラーニングへ
多層パーセプトロンとしては、1979年、福島邦彦による「ネオコグニトロン」などがあった
ディープラーニングの新しさは、教師あり学習の前に自己組織化学習を行っていること
基本はヘブ学習だが、そこに様々な工夫が加えられている、と
中間層で高次の層に上がるにつれて、ニューロンの数を減らして、情報を抽象化させていく
教師あり学習では、誤差逆伝搬法を使うほか、「脱落」というテクニックがあり、途中で半数のニューロンを脱落させることで、局所解に陥ることを避ける
