メタ出身の研究者が設立、「AIの幻覚除去」のスタートアップ
生成AIモデルは、用途によって非常に優れた結果をもたらす一方で、時おり「幻覚(ハルシネーション)」と呼ばれる誤回答を生成することが知られている。 ニューヨークを拠点とするPatronus AI(パトロナスAI)は、この問題を解決することを目指し、オープンソースのAIモデル、Lynxを開発した。Lynxは、人間の手を借りることなく、より速く、より安く、より信頼性の高い方法で幻覚を検出することを可能にするという。 パトロナスAIの共同創業者であるアナンド・カンナッパンとレベッカ・チアンは、共に元メタAIの研究者だ。2人は、LynxがOpenAIのGPTやアンソロピックのクロード3などの主要なAIモデルよりも誤情報を検出する精度が高いと主張している。同社は、メタの最も先進的な大規模言語モデル(LLM)であるLlama 3に2400件の幻覚の事例とそれに対応した正しい回答を示し、モデルを微調整することでこれを実現した。 カンナッパンとチアンは、2023年9月にパトロナスAIを設立する前に企業幹部約60人と話をした結果、彼らが最も恐れているのは、自社のAI製品が偽情報を広めてしまうことだと知った。CEOのカンナッパンは、Lynxがそうした懸念を払拭する手助けになることを期待している。彼は、LynxがAIモデルに対してより正確な回答をするよう指導するコーチのようなものだと考えている。 「レベッカと私がパトロナスAIを設立した理由の1つは、スケーラブルな監督というコンセプトを実現することだった。これは、人間が自分たちをはるかに凌駕するシステムを監督し続けることができるようにすることであり、それを可能にする唯一の方法は、AIを評価する強力なAIを保有することだ」とカンナッパンは話す。 現状、AI製品の出荷前に行われているストレステストの1つは「レッド・チーミング」と呼ばれる、手作業でAIモデルをハッキングし、ミスにつながりかねない脆弱性を明らかにするものだ。他には、GPT-4のようなAIモデルを使って幻覚を検知する方法もあるが、カンナッパンはこのアプローチを「GPT-4がGPT-4を評価している」として批判している。