震えた。ChatGPT o1で「英霊召喚」してみた話

ChatGPT、やっぱとんでもないですよ…。 2024年に生成AI「ChatGPT」にきた大きなアップデートとして新モデル「o1」の実装があります。OpenAIによると、さまざまな知的能力が人間の専門家と同等か超えるレベルにまで到達したらしい。 【全画像をみる】震えた。ChatGPT o1で「英霊召喚」してみた話 要は、また賢くなった、と。 いろいろ試していたのですが…これがなかなか困ったものでした。知識も論理的な能力も明らかに自分より上なので「すごそう」以上のことがわからない。 どうすんの、これ…。 途方に暮れた末に、高度なロールプレイをさせてみることにしました。思えば今までのモデルだとロールプレイはほぼほぼ破綻していました。できないことができるようになっていれば、すごいと思えるかもしれない。 結果は…すごいってもんじゃなかった。演じる人物（キャラクター）を深く理解し、受け答えも一貫していました。今回演じさせたのは歴史上の偉人だったのですが、まるで彼がわざわざやってきて話を聞いてくれているかのよう。感動して泣いてしまった。

ChatGPT o1の相手するの、超カロリーつかいます

もろもろ考えて、演じてもらうのはフランスの哲学者デカルトとしました。今回は、彼と哲学的な対話を行うことにします。 複雑・難解なオーダーをしないと意味が薄い まず、「ロールプレイ」をChatGPT o1にさせようと思ったのは、ChatGPTはロールプレイが得意とまでは言えず、今までのモデルでは途中で「ChatGPT」に戻ってしまいがちだったからです。これがこなせれば、推論能力が伸びていると考えていいでしょう。 ただ、ChatGPT o1は前述のように明らかに賢くなっており、単純なロールプレイは問題なくこなせそうな雰囲気でした。もう少し複雑にしてより思考力が求められるような形にする必要がありそう。 そこで思いついたのが、歴史上の人物になってもらい歴史的事実を用いて対話することでした。「資料に基づいて正確に回答する/分析を行う」という要素を加えれば、ChatGPT的にはけっこう難しいオーダーなのではないかと。 「自分が理解・回答できる難問」をぶつけないといけない 「誰になってもらうか」もけっこうな問題でした。 o1にとって自分が筋道立てて理解できているくらいの問題は常識レベルの問題に過ぎず、簡単に解けてしまう。かといって、それ以上難しくするとこっちが何もわからない。いずれにしても、o1の賢さがどれくらいなのかもあまりわからないでしょう。 しかも、軽くテストした感じ、こっちの理解度が低いテーマだと「教えるモード」に入ってしまう。一般論的な説明に入ってしまうため、推論能力が高度になっているのかやっぱり判別がつきません（前モデル GPT-4oの時点で既にその辺りの能力はかなり高かったためです）。 よって、自分自身が専門的に扱える分野から出題しないといけません。ちゃんとそれなりにムズくないとダメ。 ハルシネーションがあったらどうすんだこれ… 利用者の知識や能力が評価のネックになっちゃうのはどうかと思います。このあといいと思ったところも書くのですが、悪いところははっきりしています。ハルシネーション（AI生成物に含まれる誤り）のチェックが事実上不可能なケースはすごく多いはず。自分の理解を超えた説明の中に誤りがあっても、指摘するのは不可能です。賢いのですから、理解が難しいことにこそ使いたい。そういう心理と絶望的なまでに相性が悪い。 逸れた話を元に戻すと、デカルトを選んだ理由は、「ぼくがそこそこ難しい問題を出題できるから」です（哲学は大学でわりと真面目に勉強してた）。馴染みが薄い方にはとても申し訳ないのですが、どうしようもなかったんです…。 また、哲学上の超重要人物であるデカルトに関しては多くの論文・歴史資料があり、ChatGPT o1も学習してそうというのも決め手になっています。経験上、ChatGPTは「知らないこと」を知らないと言えない傾向にあり、しかもそれはモデルのバージョンというよりは大規模言語モデルという仕組みそのものがもつ性質（≒チャットボットタイプのAIそのものがもつ癖のようなもの）のような印象があるため、今回は「知ってることを使って高度な会話をする（知らないことは使わない）」という方向で突き進んでみます。