「妄想癖」が治らない限りChatGPTは調査業務には使えない
事務所ブログにも書いた話ですが、情報を追加して、こちらにも書いておきます。
ChatGPTをはじめとする大規模言語モデル（LLM）に基づく生成系AIにはハルシネーション（幻覚）（Wikipedia記事）という問題点があります。モデルが学習データとは異なる情報をあたかも事実であるかのように出力してしまう現象です。「幻覚」と訳すよりも「妄想」と訳した方が良いかもしれません。モデルは自分が誤った情報を出力していることに気付いていないからです。ハルシネーションの原因や対策についてはまだ完全には解明されていないとのことです。
ChatGPTに自分のことを尋ねてみて、一つも合ってないデタラメを自信満々に回答してくるのでびっくりした人も多いでしょう。（GPT3.5によると、私（栗原潔）は、「日本の小説家、推理作家で、1948年に福岡県に生まれ、京都大学文学部卒業後、出版社勤務を経て、1980年に『踊る神殿』でデビューした」のだそうです。）
LLMは、そもそもの仕組みとしてデータベースを検索しているわけではなく、訓練データをベースに確率的に見てそれらしい文書を生成しているだけなので、「ファクト」に関して弱いのは当然です。一方、当然ながら、文章の「表現」の扱いについては強力で、文章を要約したり、より自然な表現に直したりといった用途ではきわめて有用です。最近作った弊所の英文サイトではChatGPT4に英語を全部推敲してもらいました。たとえば、「”if the contact form does not work, plase use a email”をもっと丁寧に」と指示すると”Should the form not function properly, please do not hesitate to send us an email.”と直してくれたりするので大変便利です。
LLMの回答があまりにも自然なので、何にでも答えてくれる万能のシステムであるかのように勘違いして、LLMが本質的に向いていない業務にまで、LLMを適用しようとする間違いが今後ますます増えてくるのではないかと思います。
事務所ブログにも書いた話ですが、ChatGPT4を特許調査業務に使えないかと、試しに「大規模言語モデルの重要特許を教えてください」と聞いてみたところ、もっともらしい特許文献をいくつか挙げてくれましたが、特許番号、発明の名称等、すべてデタラメでした。ちょっと間違っているというレベルではなく、存在しない特許公報を自信満々に挙げてきます。
この問題も、LLＭを特定のデータセット（たとえば、特許公報）で訓練する、あるいは、プラグインによって検索システム等と組み合わせることで、改善される可能性があります。
ということで、同じ質問「大規模言語モデルの重要特許を教えてください」をGPT4とBing検索エンジンをベースにしているBing Chatに聞いてみました。
Bing Chatでは、回答のレベルを「独創性」、「バランス」、「厳密」という3モードに設定できます。「バランス」による回答は以下のとおりです。
大規模言語モデルに関する特許については、世界中で多数の特許が出願されています。日本国内でも、LINE社とNAVER社が共同で開発した「HyperCLOVA」という日本語に特化した大規模汎用言語モデルの特許出願があります。ただし、具体的な特許番号や内容については、公開されていない場合がありますので、詳細については専門家に相談することをお勧めします。
そして、出典として、リンク1、リンク2等が挙げられています。HyperCLOVAに関する記事ですが、特許出願に関する言及はありません。別途調べてみましたが、当然ながら、LINEとNAVERは、言語モデルを使った発明の特許を出願していますが、言語モデルそのものに関する特許出願は見付かりませんでした。模範解答としては、Googleのself-attentionに関する特許くらいは挙げて欲しかったです。
モードを「独創性」に設定して同じ質問をしてみました。
大規模言語モデルに関する重要特許というのは、具体的にどのようなものをお探しでしょうか？<スマイル絵文字>
大規模言語モデルとは、膨大な量のテキストデータを用いて、自然言語処理のタスクを行うことができる人工知能のモデルです。
大規模言語モデルに関する特許は、その開発や利用に関する技術や方法を保護するものです。
例えば、以下のような特許があります。
「大規模言語モデルの生成方法及び装置」（特開2023-123456）
大規模言語モデルを生成するために、複数の小規模言語モデルを組み合わせる技術です。
「大規模言語モデルを用いた文章生成方法及び装置」（特開2023-234567）
大規模言語モデルを用いて、与えられたテーマやキーワードに基づいて文章を生成する技術です。
「大規模言語モデルを用いた画像生成方法及び装置」（特開2023-345678）
大規模言語モデルを用いて、与えられたテキストに対応する画像を生成する技術です。
以上が、大規模言語モデルに関する重要特許の一部です。他にも多くの特許が存在しますが、ここでは割愛します。
公開番号がすべて123456等の人工的番号となっていることから、デタラメであることがわかります（そもそも現時点で2023年の公開番号は2023-040000くらいまでしか行っていないのでこれらの番号の公開公報は存在し得ません）。特許の公開番号の形式は「特開」＋「年度」＋「6桁の数字」という知識はあって、「それらしい」情報を生成してはいるのですが、それが事実かどうかはまったく気にしていないわけです。
さらに、「これらの特許はどの企業や団体が出願していますか？」という追加質問をBingがサジェストしてきたのでお言葉に甘えて聞いてみると、
「大規模言語モデルの生成方法及び装置」（特開2023-123456）
出願人：株式会社ソニー ...
と回答してきます。当然ながら、このような出願はありません（特開2023-123456というデタラメ番号を前提に話を進めるんですね）。
「厳密」モードで質問すると、
申し訳ありませんが、私の検索結果には、大規模言語モデルに関する重要な特許についての情報はありませんでした。
と返ってきます。デタラメよりはましですが、普通にBingで「大規模言語モデル 特許」で検索すると、多数のページがヒットするのでそれのサマリーでも出力してほしいなと思いました。
このような話は弁理士業務に限った話ではなく、あらゆる知的労働に当てはまるでしょう。少なくとも現在の技術水準では（仮に検索エンジンと組み合わせたとしても）LLMは、「表現」を扱う作業は得意だが、ピンスポットで「ファクト」を調べるような作業には向いていないということです。使い道を間違えないことが重要です。とは言え、この分野の技術進化の加速度的変化を考えると、この状況も来年頃には変わっているのかもしれませんが。
