Quiet-STaRが実現する、人間のような「思考」

スタンフォード大学とNotbad AI社の研究者らが最近発表した新たなアプローチ「Quiet-STaR」は、この分野における大きな進歩になる可能性があり、注目を集めている。Quiet-STaRは、STaRモデルを拡張したバージョンだ。 そもそもSTaRモデルとは何かを簡単に解説したい。STaR（Self-Taught Reasoner）は、AIが自分自身で生成した文章から推論することを学習するモデル。これは特に、質問応答の文脈で提案された手法となる。従来、質問応答向けのAIは、大量の質問とその答えのペアを学習することで開発される。 STaRは以下のように、従来とは異なるアプローチを取る。 ・まず、AIは質問に対していくつかの答えの候補を生成する ・次に、それぞれの答えについて、それが正しい答えである理由（根拠）を自分で考える ・そして、それらの根拠から、どの答えが最も確からしいかを推論する ・最後に、AIは自身が推論した答えと実際の正解を比べ、正解につながった根拠を強化する つまり、STaRは「考えるプロセス」自体を学習するモデルといえるだろう。最初は直感的に答えを出す可能性が高いが、次第により論理的で正確らしい根拠を生成できるようになるといわれている。 このSTaRの拡張版となるQuiet-STaRの特徴は、AIモデルに人間のような「思考」を促す点にある。 たとえば、「ジャネットのアヒルは1日に16個の卵を産む。彼女は毎朝3つを朝食に食べ、4つを使って友人のためにマフィンを焼く。彼女は残りを毎日ファーマーズマーケットで新鮮なアヒルの卵1個2ドルで売る。彼女は毎日ファーマーズマーケットで何ドル稼ぐのだろうか？」という質問を投げかけると、Quiet-STaRはこの問題文を読み進める過程で、以下のような「思考」を巡らせる。 「アヒルが1日に産む卵の数は16個。これが卵の総数だ」 「朝食に3つ食べる。これが朝食に食べる卵の数」 「マフィンを作るのに4つ使う。これがマフィン作りに使う卵の数」 「16-3-4=9。9個がファーマーズマーケットで売られる卵の数」 「卵1個の値段は2ドル」 「2×9=18。18ドルが卵の合計金額」 こうして問題文の各部分に根拠を示しながら、最終的に「卵の合計金額は18ドル」という答えに至る。 一方、Quiet-STaRを適用していないモデルの場合、問題文を読み終えてから一気に答えを出力するような思考の流れになりがちだ。 以下の推論は、Quiet-STaRを適用していないモデルが同じ質問に対して出した回答だ。 「ジャネットは毎日平均12個の新鮮なアヒルの卵をファーマーズマーケットで売っている。卵1個2ドルで売っているとすると、1週間で彼女はいくら稼ぐことになるか。ほとんど毎日ファーマーズマーケットで売っていると仮定する」 「ジャネットが毎日ファーマーズマーケットで売る新鮮なアヒルの卵は平均12個。これは12×7、つまり12×7=84になる。そうすると彼女が稼ぐ総額は84×2ドル、すなわち168ドルになる。よってジャネットは卵を売って週に168ドル稼ぐ」 このように、途中計算を飛ばして結論を急ぐようなプロセスでは、論理の飛躍が起きやすく、間違った答えに行き着く恐れがある。 Quiet-STaRは、言語モデルが文章を読み進めながら各所で立ち止まって考えを巡らせ、推論の根拠を言語化するように促す。それにより、論理的に筋道を立てて考える習慣が身につき、最終的な出力の質が向上するというわけだ。