iPhoneとAndroidのUIを理解するAppleの言語モデル「Ferret-UI」、AI生成の“誤ったコード”を自律修正するAI「AutoCodeRover」など重要論文5本を解説（生成AIウィークリー）
1枚の画像から高品質な3Dモデルを生成するフレームワーク「InstantMesh」、テンセントなどが開発
この研究では、「InstantMesh」という手法が提案されています。これは単一画像から高品質な3Dメッシュモデルを数秒で生成するフレームワークです。 InstantMeshは2つの要素技術を組み合わせています。1つ目は教師あり学習済みのマルチビュー画像生成モデルで、単一の入力画像から3D的に整合性のある複数視点の画像を生成します。2つ目は少数視点の3D再構成モデルで、前述の複数視点画像を入力として3Dメッシュを予測します。全体の処理は10秒以内で完了します。 3D再構成モデルの訓練効率を高めるため、微分可能な特殊なモジュールを組み込み、デプスや法線などの幾何情報を活用しながらメッシュ表現に対して直接最適化を行っています。また、モデルアーキテクチャにはトランスフォーマーを採用し、大規模データセットへの拡張性を持たせています。 公開データセットでの評価実験により、InstantMeshが他の最新手法を大きく上回る性能を示しました。
山下裕毅（Seamless）＠TechnoEdge
【関連記事】
- iPhoneとAndroidのUIを理解するAppleの言語モデル「Ferret-UI」、AI生成の“誤ったコード”を自律修正するAI「AutoCodeRover」など重要論文5本を解説（生成AIウィークリー）
- アップルがマルチモーダル大規模言語モデル「Ferret」を公開。画像内の形や場所を言葉で説明（生成AIウィークリー）
- Amazon CEOが重要視する「生成AIのプリミティブなセット」とは何か。見えてきたAWSの生成AI戦略
- 架空バンド「The Midnight Odyssey」のリアルなPVを作る。生成AIをフル活用した世界観の創出と動画制作の手順
- 無料・高品質の作曲AI「Udio」で曲を完成させるまでの手順を動画で解説します（CloseBox）
