3000個のエヌビディアのGPUで学習

■3000個のエヌビディアのGPUで学習 独自の大規模言語モデルを構築するためのツールを他社に提供しているのはデータブリックスだけではない。セコイアとベンチマークが支援するLangChainや、インデックス・ベンチャーズとベイン・キャピタルが支援するLightning AI（ライトニングAI）などが同社の競合だ。また、OpenAIとグーグルは、特定の目的の大規模言語モデルを作成するためのツールも提供している。 データブリックスのこのモデルの発表は、同社が昨年7月に生成AIプラットフォームのMosaicML（モザイクML）を13億ドルで買収してからわずか8カ月後のことだ。同社が初めてゼロから立ち上げたこのモデルの構築の大半は、モザイクMLのチームによって行われた。一方、データブリックスは昨年、既存のオープンソースモデルのEleutherAI（エルーサAI）のPythiaをベースに作られたDollyと呼ばれるモデルをリリースしていた。これは、比較的古いモデルでも容易にカスタマイズや微調整が可能であることを確認するための実験だった。 ゴティシによると、データブリックスはDBRXの学習に3000個のエヌビディアのGPUを用い、2カ月間の開発コストは約1000万ドルだったという。同社の目標は、このモデルによって、企業が「ワールドクラス」の言語モデルを低コストで開発できるようにすることだ。「1年半前なら、同じような品質のモデルを手に入れるには1億ドルが必要だったと思います」とゴティシは語った。