写真：Impress Watch

NVIDIAは、自動運転車やロボットなど、フィジカルAI開発のためのプラットフォーム「NVIDIA Cosmos」を発表した。 自動運転開発などに必要なフィジカルAIモデルの開発には、膨大な量の実世界データ等が必要になり、膨大なコストがかかる。「Cosmos 世界基盤モデル(WFM)」は、自動運転やロボット工学などの関連分野から2,000万時間のデータを含む9,000兆トークンでトレーニングされた基盤モデルで、フィジカルAIのトレーニングコストを低減する環境を提供。開発者が既存のモデルをトレーニングするために使う大量のフォトリアルな物理ベースの合成データを簡単に生成可能にする。 フィジカルAIの研究開発専用に構築され、テキスト、画像、ビデオなどの入力とロボットセンサーやモーションデータの組み合わせから物理ベースのビデオを生成できる。モデルは、物理ベースのインタラクション、オブジェクトの永続性、倉庫や工場などのシミュレートされた産業環境や、さまざまな道路状況を含む運転環境の生成を目的として構築されている。 WFMを扱うツールとして、「NVIDIA Cosmos Tokenizer(トークナイザー)」も開発。画像やビデオをトークンに変換する最先端のビジュアル トークナイザーで、現在の主要なトークナイザーよりも8倍の総圧縮率と12倍の処理速度を実現している。 オープンモデルの第1弾を開発者コミュニティに提供開始しており、1X、Agile Robots、Agility、Figure AI、Foretellix、Waabi、XPENG など大手ロボティクス会社や自動車会社、ラウドシェアのUberなどが採用する。