生成AIにおける推論の課題

生成AIにおける推論の課題

人間のように発言前に内容を吟味する、そんな生成AIの登場が現実のものとなりつつある。スタンフォード大学とNotbad AI社の研究者らが開発した「Quiet-STaR」は、AIモデルに出力前の「思考」を促すことでパフォーマンス向上を実現。推論タスクにおける正答率の大幅な改善が確認された。生成AIの進化に新たな道筋をつけるテクニックとして注目を集めている。 ChatGPTの背後にあるGPTなどの大規模言語モデルは、「次に来る言葉は何か」を推測するために膨大なデータでトレーニングされている。昨今GPT-4やClaude3 Opusなど、パフォーマンス向上が顕著だが、これは別の言い方をすると、次に来る言葉を推測する能力が上がっているということになる。 一方、AIモデルは依然、因果関係を考えたり、「なぜ」「もし」といった推論を行うことが苦手であり、それをどう克服するのかが大きな課題だ。なぜ、AIモデルは、推論や言外の意味を読み取ることが苦手なのか。それには、大きく2つの理由があるといわれている。 1つ目は、AIモデルが主に大量のテキストデータから言葉の統計的な規則性を学習する手法で開発されてきたことに起因する。統計的な規則性から、どの言葉がどの言葉の後に来やすいかといったパターンを見出すことは得意だが、言葉の深層にある因果関係や文脈を理解することが困難であるのだ。たとえば、「ジョージはリンゴが好きだ。なぜなら、甘くておいしいからだ」という文では、「なぜなら」以下がジョージがリンゴを好きな理由を説明しているが、AIにはその因果関係を読み取ることが難しいのだ。 2つ目は、AIの学習に用いられてきたテキストデータの性質が挙げられる。SNSの投稿やニュース記事など、インターネット上のテキストの多くは断片的で、書き手の前提知識が多く省略されている場合がほとんど。これらが学習データに使用されているため、表層的な言葉の繋がりを把握するのは得意だが、言外の意味を汲み取ったり、仮定に基づいて推論したりするのが苦手となってしまうのだ。 また、データセットの普遍性が限定的である点も生成AIの能力を制限する要因となっている。従来の手法では、AIに解かせたい問題を集めた訓練用データを用意し、そのデータを使って特定のタスクをこなすようにAIを学習させることが一般的だった。しかし、これらの手法では、AIが学習できる問題の種類が訓練データに限定されてしまうという問題が浮上。この問題を解決するため日々研究が進められている。