～鳥澤フェローは3000億のパラメーターのLLMを開発　増やすことは難しい？～

提供：NICT

パラメーターを増やすこと自体は、そんなに難しくなく、プログラムの一部を変えたらそうなります。ただ、それで学習がうまくいくかどうかは別の話。変な設定で学習をすると、学習が途中で止まってしまうっていうこともあります。また、パラメーターを大きくするとその分、学習に時間がかかるようになります。

パラメーター数を増やすと賢くはなるのですが、そのために計算機も大量に必要だし、時間もかかるので、それだけお金がかかる。計算機は厳密に言うと少なくてもいいんですけど、少ないとその分、時間がかかるわけで、大ざっぱに言うと、計算機の数が半分になったら学習の時間は倍になる。本当は、いろいろな学習の設定を試す試行錯誤をして最も賢いモデルを作れる学習の設定を見つけなければいけないので、一回の学習を早く終わらせてたくさん試行錯誤できた方が断然有利ですよね。つまり、計算機がたくさんあって試行錯誤がたくさんできた方が有利だということになります。

～文章が出力されて、その結果の理由を知ることは～

とにかくパラメータが数千億個とかあって分析が難しいので、今のところは不可能だと思います。ただ、要するに学習データ中によく出てくる単語が、確率高く出力されるようになるとは言えます。つまり、みんなが頻繁に書いたり、言ったりしている言い回しや、それに意味的に近い内容が出力されてくる可能性が高いわけです。これはつまり、大規模言語モデルの出力が、違和感がなくて、滑らかでまっとうに見える理由でもあるわけです。 ただ、逆からみると、大規模言語モデルは月並みなことしか言わないっていうことでもあります。みんなが言っているようなことを繰り返し言っているわけですから。 ですが、大規模言語モデルは、到底普通の人間が読みこなせる量ではない学習データで学習してますので、例えば、自分がよく知らない分野につい質問をしても、その分野での常識的な回答をさっくり返したりします。これはみなさんがChatGPTが便利だと思う理由の一つだろうと思います。 今、私たちは大規模言語モデルを複数個組み合わせて、あえて月並みじゃないアイデアを出力するようなシステムを作ろうとしています。実はそのプロトタイプの出力で私自身の考え方が変わるといった経験も何度もしています。すでに私の脳は大規模言語モデルに一部乗っ取られてるんじゃないかと思うぐらいです。