なぜAI研究に物理学賞?　生成系AIを生んだ研究

　さて、今回対象になったのは、ジョン・ホップフィールドとジェフリー・ヒントンの二名の業績である。ホップフィールドは2021年度の対象の一つになったスピングラス理論からヒントを得て、脳の神経回路を模したANN（人工神経回路）を作った。いわゆるホップフィールド・ネット（HN）である（図1）。　     　脳のニューロン（神経細胞）をネットワークを構成する個々のノードと見立て、ノード間を全結合し（回帰型ニューラルネット、略してRNN）、結合の強さはランダムに選ぶことができ、スピングラスの統計物理理論が使える。これをもとにして、パタンの記憶をエネルギー関数の小さい値（極値）に対応させることで記憶状態をアトラクター（周りを引き寄せる吸引体）として表現した。そしてこのANNにどの程度の記憶が埋め込めるかを試算した。HNは連想記憶のモデルである。 　ホップフィールドの提案以前に日本を含めて世界中で連想記憶のANNモデルは提案されていた。にもかかわらずなぜ委員会はそれらに注目しなかったのか。HNのインパクトは、連想記憶モデルはスピングラスに類似の振る舞いを示すANNによって作られるということを示したことだった。それゆえスピングラスの研究で発展した高度な統計物理理論が使えて、記憶容量などを理論的に導くことができることになる。そして、ホップフィールドはそれを実行した。

　対して、ジェフリー・ヒントンはノードの状態確率を統計物理のボルツマン分布に従って出力するボルツマン・マシーン（BM）を、深層学習研究のパイオニアの一人であるテレンス・セイノフスキーらと共同で考案した。彼らは可視化層と隠れ層を用意して、可視化層のみが入出力を担うとした（隠れ層は直接入出力情報を受け取らないのでその名がある。中間層とも呼ばれる）。また、全てのノードが結合すると仮定した。これは計算上効率的でなく、のちに彼らは制限ボルツマン・マシーン（RBM）を提案した（図2）。 　RBMでは可視化層、隠れ層それぞれの層内でのノード間の結合をなくし、可視化層と隠れ層の間にだけ全結合があるとした。これで性能はずいぶんと良くなったが、これはいわゆるフィードフォワード型のニューラルネット（いわゆる1950年代にフランク・ローゼンブラットによって提案されたパーセプトロン ）そのものである。隠れ層の数を増やしていけば、現在の生成系AIの原型である深層神経回路になる。　 　この先駆は福島のネオコグニトロンである。深層神経回路の学習はバックプロパゲーション（BP、誤差逆伝搬法）と呼ばれているもので、出力層のノードの状態と望ましい状態との誤差を計算し、誤差を出力層から入力層に向かって逆向きに伝搬させていく方法である（図3）。このとき、誤差を結合の重みなどで微分して勾配（こうばい）を求め、勾配によって重みなどを変化させていく。この方法はBPの提唱より20年ほど前にB.ウィドローら（2層の場合）や甘利（3層以上）によって提案されていた“勾配法”と本質的には同じアルゴリズムであるので特段目新しいことではない。深層学習の基本というならば甘利の方法が先駆的である。　  　深層神経回路をさらに強力にしたのは、長短期記憶（LSTM）回路とアテンション機構（Transformer）の追加であろう。LSTMは回帰型ニューラルネット（RNN）により実装されるが、回帰回路の時間ステップを多層のフィードフォワード回路に置き換えて、さまざまな長期、短期の記憶が可能になる深層神経回路が作られた。また、ホップフィールドの連想記憶におけるアトラクターダイナミクスは画像や文章のある部分にだけ着目するアテンション機構として再利用された。これにより、格段に処理スピードと計算可能な関数の容量が上がったと考えられる。 　また、ホップフィールドらはHNのように結合重みの変更による学習ではなく、記憶パタンとネットワークの状態の内積（記憶に近いかどうかの指標）によって記憶の重み付けをして出力とすることで、記憶容量をノード数の指数関数で増やせることを理論的に示した。この「現代版HN」は生成系AIが膨大な数のパタンを学習できることを可能にしたのだ。 複数のタスクを同時にできる人間の脳のすごさ。やがて生成AIを上回る技術革新が生まれる―― へ続く