写真：Impress Watch

OpenAIは、ChatGPTが出力するエラーを発見するため、GPT-4をベースとした「CriticGPT」を開発した。 【この記事に関する別の画像を見る】 AIを使ってAIのミスを発見するのを支援するツール。GPT-4シリーズのモデルは、RLHF(人間からのフィードバックによる強化学習)を使って訓練されているが、AIモデルが高度化するのに伴い、その間違いを人間のAIトレーナーが指摘するのは困難になりつつある。 CriticGPTの指摘が常に正しいわけではないが、AIトレーナーがCriticGPTを活用することで、より多くの問題を見つけることが可能になる。たとえば、GPT-4が出力したコードのエラーを発見しようとする場合、CriticGPTを使ったほうが60％パフォーマンスが向上するとしている。 AIはトレーナーのスキルを補完し、人間が単独で作業するよりも包括的なレビューが可能で、モデルが単独で作業するよりもハルシネーション(誤ったもっともらしい回答)が少なくなる。実験では、AI無しで行なったレビューよりも、CriticGPTを使った人間が行なったレビューのほうが60％以上の人に支持されたという。 ただし、CriticGPTを使ってもハルシネーションを完全に排除することはできない。また、タスクが非常に複雑な場合は、CriticGPTの助けがあっても、正しいレビューを行なえるとは限らないという。今後、より複雑になるAIシステムを整合するためには、より良いツールが必要になるとしている。