プログラムのコードをChatGPTに書かせても、その半分は間違っている

ChatGPTなしではもう仕事ができないなんて人も結構いるよね。 ChatGPTは、文章はもちろん、生成してほしいプログラムを指示するだけで、プログラムのコードを生成してくれます。 エンジニアにとっても非常に役に立つChatGPTですが、最近の新しい研究によれば、ChatGPTはコンピュータープログラミングの質問に対して、52%の確率で間違った回答をしていることがわかりました。

それでも35%はChatGPTが生成したコードを好む

この研究は、5月初めにハワイで開催されたComputer-Human Interaction Conferenceで発表されたもので、Stack Overflow上の517のプログラミング質問をChatGPTに入力して調査したというものです。 「我々の分析から、ChatGPTの回答の52%には間違った情報が含まれ、さらに77%が冗長であることが示されました。 しかしながら、その包括性とうまく整理された言語スタイルのために、ユーザー調査の参加者の35%は、ChatGPTが出した回答を好みました’ さらに気になるのは、研究に参加したエンジニアは、AIが生成したコードの間違いを常に見抜けたわけではなかったことです。 ChatGPTの回答が出した誤情報は39%の確率で見逃されていました。 これは、正しい回答に見えるというリスクは認識を高め、ChatGPTのプログラミングに対する質問への回答に含まれる誤情報に向き合う必要があることを示しています。 これはオンラインで読める数ある研究の1つに過ぎませんが、ChatGPTを活用している人なら誰もが共感する指摘なのではないでしょうか。

AIの信頼性を高めるための競争

ビックテック企業は、信頼できるAIチャットボットの開発に何十億ドルも投資しています。Meta（メタ）、Microsoft（マイクロソフト）、Google（グーグル）は、インターネットとの関係を抜本的に変革する新しい市場領域を獲得するために激しく戦っています。その戦いの道には、多くのハードルが立ちはだかっています。 まず問題なのは、AIはしょっちゅう間違うので信頼性に欠けることです。特にユーザーがユニークな質問をした場合は、その傾向が顕著に現れます。 Googleの新しいAI検索は、怪しいソースからの情報をそのまま吐き出すことがよくあります。実際今週だけでも、GoogleのAI検索が風刺的な記事を信頼できるソースとして回答した事例が複数ありました（Googleは誤回答は例外的だと主張していますが）。 Gizmodo USでは、ChatGPTの回答に関する今回の新しい研究について、OpenAIに回答を求めましたが返答なしです。