深層回路の学習、世界初の成功

AIブームがしぼんでいく中、甘利先生ご自身はニューラルネットワークの可能性をどう見られていたのでしょう。 甘利氏：原理的には万能な学習システムであるとわかっていました。しかしコンピューターの性能がまだ低くて、あれで何かが達成できるとは思っていなかった。それに局所的な最適解に落ちてしまって、「山」を乗り越えて本当の最適解を見つけ出すのが難しい。 　これを避ける方法もいろいろ考え出されたんですが、それでも乗り越えるべき山がいっぱいあるときはダメだろう。私も含めて、多くの人はそう思っていました。 　ところが実は、（ニューラルネットワークの規模の指標である）パラメーターをうんと大きくしてしまえば、かなりうまくいくことがわかってきたんです。いやあ、ヒントンはよく粘りましたよ。 ホップフィールド氏はいかがでしょうか。 甘利氏：ホップフィールドはもともと物理学者で、生物物理や半導体の世界では第一人者だったんです。ただ半導体は理論より技術が重要になったものだから、「半導体の時代は終わった」と言って、ニューラルネットワークの世界に入ってきた。 　彼は（ニューラルネットワークに情報のパターンを記憶させる）「連想記憶モデル」を出しました。さらに、普通の方法では解くのが難しい「巡回セールスマン問題」がニューラルネットワークなら近似的に解けることを示した。そこでみんなびっくりして、彼の影響で物理学者が大勢この分野に参入して、発展を支えました。この功績は非常に大きいですね。 　今、（米オープンAIの「ChatGPT」などで使われている）大規模言語モデルの中で使われている「アテンション」という仕組みは、実は彼の連想記憶モデルの考えを拡張したものです。その点でも功績が認められていますね。 　ただ、今のAIブームへの影響としては、ヒントンのほうがさすがに大きい。今回は物理学賞ですから、物理学者も選ばないとまずかったのかな。大きな声では言えませんけど、そんな気がする（笑）。とはいえホップフィールドが極めて偉大な研究者であることは紛れもない事実です。 ヒントン氏とホップフィールド氏のどちらの業績についても、甘利先生のほうが先に論文を出しているようです。例えばヒントン氏がデビッド・ラメルハート氏らと1986年に発表した誤差逆伝播法は、甘利先生が67年に発表した「確率勾配降下法」と似た考え方が扱われています。甘利先生が受賞しないことはおかしいとの指摘もあります。 甘利氏：まずノーベル賞の授賞理由を見ると、主に80年代以降の発展に絞って書いてあるんですよね。私の研究は60～70年代で、当時はニューラルネットワークの研究者が大きく減った「冬の時代」でした。 　私が確率勾配降下法の論文を67年に出して、米国の学会でも発表したんだけれども、反響は全くなかった。査読者の1人には「あまりにも数学的で、難しすぎる」なんて言われたくらいで。そういう時代だったんですよ。 　86年のラメルハートたちの論文は、考え方が私の論文と全く同じだから読んでびっくりしましたね。それまでのニューラルネットワークでは出力層を学習させる手法ばかりだったところ、ニューロンの値の取り方と学習法を工夫して、中間層も学習できるようにした。これは私が67年の論文で示したことです。 　とはいえ、私は自分が誤差逆伝播法を発見したとは思いません。ラメルハートやヒントンたちは計算する過程で、あたかも誤差が逆方向に伝播するような量が現れ、これを使うと計算も楽になることを示しました。これは生物の脳では見られませんが、工学の計算法としてはまっとうで、しかも話が面白くなります。これは彼らの発明で、私も感服しました。 　それに彼らは私の研究を全く知らなかったようで、ラメルハートに会ったとき「俺の論文を読んだのか」と聞いたら「それは何のことだ？」と返されました。ただ、ヒントン自身は、97年にヒューストンで開かれた国際会議「ICNN（ニューラルネットワーク国際会議）」で、誤差逆伝播法を「最初に見つけたのは甘利だ」と話していた、と聞きました。 　それからユルゲン・シュミットフーバーという、非常によい業績を持つ学者がいて、彼はカンカンに怒っていますね。「ノーベル賞委員会は全く間違っている。最初に深層回路の学習を成功させたのは甘利だ！」と言って、X（旧ツイッター）でずらりとニューラルネットワークの歴史を説明している。昨日も「甘利、お前はなぜ文句を言わないんだ！」とメールをよこしてきた。私はそんなはしたないことはできない（笑）。