AIモデルの「ロングコンテキストウィンドウ」とは？
テレビシリーズを一気見するとき、一度に1エピソード分しか覚えていられないとしよう。次のエピソードに移ると、さっき見たものを一瞬ですべて忘れてしまう。では、その番組で見たすべてのエピソード、すべてのシーズンを覚えていられるとしよう。今度はストーリー、登場人物、紆余曲折を把握できる。 人工知能（AI）モデルの話では、一度に1エピソードしか記憶できず、次のエピソードに移ると強制的に忘れさせられることが「ショートコンテキストウィンドウ」に当たる。シリーズのすべてのエピソードを覚えていられることが、コンテキストが大きいAIモデル、すなわち「ロングコンテキストウィンドウ」に当たる。 つまり、ロングコンテキストウィンドウとは、モデルが同時に多くの情報を覚えていられるということだ。 ロングコンテキストウィンドウについて、そしてボットなどのシステムのパフォーマンスへの影響についてさらに知るには、AIにおける「コンテキスト」を理解する必要がある。 「ChatGPT」、チャットボットの「Gemini」「Microsoft Copilot」などのAIシステムは、AIモデル（それぞれ「GPT-3.5」「Gemini」「GPT-4」）をベースとして構築されている。モデルは知識を保持し、対話中の情報を記憶し、質問に適切に応答するなど、システムの「頭脳」として機能する。 AIにおけるコンテキストとは、AIがいま処理しているデータに意味と関連度を与える情報を指す。モデルが判断や応答生成の際に考える情報だ。 コンテキストはトークンという単位で測られ、コンテキストウィンドウは、モデルが一度に考慮できる（扱える）トークンの最大数を表す。各トークンは言語にもよるが、単語だったり単語の一部であったりする。英語の場合、1トークンは1単語であることが多く、GPT-4のようなAIモデルは、トークンウィンドウが1万6000（16k）トークンだと、およそ1万2000単語を扱える。 1万2000単語を扱えるAIチャットボットであれば、3000単語の記事や5000単語の論文を要約した上で、ユーザーが読み込ませたその文書の内容を忘れることなく、追加の質問に答えることができる。対話全体を通じて、それまでに伝えたメッセージのトークンも加味され、ボットは話されている内容の文脈（コンテキスト）を理解する。 したがって、対話がトークン数の上限以下に収まっていれば、AIチャットボットはすべてのコンテキストを保持できる。しかし、トークン数の上限を超えると、トークンウィンドウ以内に収めるために、最初の方のトークンは無視されたり失われたりする可能性が高く、ボットは文脈を見失うことになるかもしれない。 「Gemini 1.5 Pro」の100万トークンという巨大なトークンウィンドウをGoogleが誇らしげに宣伝するのはこのためだ。Googleの最高経営責任者（SEO）Sundar Pichai氏によると、コンテキストウィンドウが100万トークンならば、チャットボット「Gemini Advanced」でコードなら3万行以上、PDFファイルなら最大1500ページ、Cheesecake Factoryのメニューなら96冊を処理できるという。 この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
