②質問に無関係な記述が混ざっている場合 次に算数の問題を解く実験。 問題：メアリーはメーガンの3倍のキャンディを持っています。メアリーはその後さらに10個もらいました。マックスはメアリーよりも1000冊多くの本を持っています。もしメーガンがが持っているキャンディが5個だとしたら、メアリーは全部で何個のキャンディを持っていますか？（注：問題はメアリーとメーガンの比較によってキャンディの数を計算するものだが、途中に関係のないマックスの本の数に関する記述が混ざっている） LAMA2：マックスはメアリーよりも1000冊多くの本を持っているので、マックスは1000+3x+ 10個のキャンディを持っている。方程式は1000+3x+10=3(5)+10 （中略）  x = 328、つまりメアリーは合計で328個 と、無関係のはずのマックス君が持っている本の数を考慮してしまい、間違えてしまう。一方でSystem 2 Attentionでアップグレードしたモデルに同じ質問をすると、同じ質問から （System 2 Attentionによる再生成文脈：メアリーはメーガンの3倍のキャンディを持っている。メアリーはその後さらに10個もらった。メーガンが持っているキャンディは5個と仮定。メアリーは合計で何個のキャンディを持っているか。質問: メアリーは合計で何個のキャンディを持っていますか？） と設問文を生成し直すことにより、 LAMA2：メーガンが5個のキャンディを持っていると仮定。メアリーはメーガンの3倍のキャンディを持っているので、メアリーは3x5=15個。その後さらに10個もらったので、全部で15+10=25個 と、惑わされることなく正解を導き出すことができる。

ベースには「認知バイアス」で有名なカーネマン博士の理論

System 2 Attentionの機序は、「認知バイアス」などの概念で有名なノーベル経済学賞心理学者であるダニエル・カーネマン博士の『ファスト＆スロー あなたの意志はどのように決まるか』にまとめられた理論をベースにしている。 恐れ多くもとても平たくまとめさせていただくと、私たちの思考には2つのシステムがあり、一つ目の「システム1」は私たちが日常的に無意識に行っている直感的な判断や反応といったプロセス、一方でもう一つの「システム2」はもっと複雑な思考回路を辿る時に意識的に起動するプロセスである、というもの。 「システム1」は省エネで効率的な一方、元々持っているバイアスや思考の癖に影響されやすい。「システム2」は思考プロセスへの負担は大きいながら、与えられた刺激につられて反応することなく、自立的により深く正確な応答を導き出すことができる。 System 2 Attentionはこの後者の思考回路をLLMにもたらすという意味で、従来の入力された要素全てにある程度の焦点を当てる仕組みのsoft attentionに対して「システム2のAttention」という名を冠している。