Adobe、Premiere Proの生成AI機能を先行公開。OpenAI SoraやRunwayのモデルも統合、物体の追加・削除やフレーム生成など
NAB Show 2024にあわせて、Adobeが動画編集アプリ Premiere Pro に追加予定の生成AI機能を先行公開しました。 生成AIグラビア写真集 Adobeが公開したデモは、実写動画から不要な物体や部分を1クリックで選択して削除したり、AI生成で被写体を追加、衣装など部分を変更、クリップの長さを延長など。 動画生成にはAdobeが独自に開発中の Firefly 動画モデルに加えて、OpenAI Sora や Runway、Pika Labs といったサードパーティのモデルもPremiere Pro内から直接利用できるようにし、クリエーターが各モデルを必要に応じて選べるようになります。 Adobeが先行公開した機能は次のとおり。
Generative Extend (生成拡張)
すでにある映像から新たなフレームを生成して尺を伸ばす。トランジション効果の追加など編集の都合であと少し長さが欲しいときに。
Object Addition & Removal (オブジェクトの追加と削除)
Photoshopで進化してきた被写体選択と生成塗りつぶしの動画版。開発中の動画版 Firefly を使い、背景の一部や人物、物体などを指定して、生成AIで消した部分を埋める。 応用として物体の追加や入れ替えも。映り込んだ邪魔な物体を消すほか、他社の権利侵害になりかねない表示や背景の削除変更、役者の衣装の一部を変更など。
Text to Video (テキストから動画生成)
Premiere Pro内で直接、テキストや参照画像から動画を生成。 こうした機能の基盤となる生成AIモデルは、Adobe独自のFireflyを動画に拡張したモデルを開発中であるほか、将来的にはOpenAI の Sora や Runway、Pika Labsなど他社のモデルも、プラグインのように追加して選べるようになる計画です。 生成AIの悪用が懸念されるフェイク動画や、動画の真正性の問題については、生成AIで作成したアセットに出自や内容を示すコンテンツクレデンシャルを付与します。 コンテンツクレデンシャルを確認することで、AIを使って生成した動画なのか、どのモデルを使用したか等を確認できる仕組みです。 Premiere Proへの生成AIビデオツール追加は年内の予定。
Ittousai@TechnoEdge
【関連記事】
- Adobe、Premiere Proの生成AI機能を先行公開。OpenAI SoraやRunwayのモデルも統合、物体の追加・削除やフレーム生成など
- OpenAI、日本語に最適化したGPT-4カスタムモデル提供。通常のGPT-4 Turboより最大三倍高速、トークン数削減でコスト効率向上
- iPhoneとAndroidのUIを理解するAppleの言語モデル「Ferret-UI」、AI生成の“誤ったコード”を自律修正するAI「AutoCodeRover」など重要論文5本を解説(生成AIウィークリー)
- Amazon CEOが重要視する「生成AIのプリミティブなセット」とは何か。見えてきたAWSの生成AI戦略
- 架空バンド「The Midnight Odyssey」のリアルなPVを作る。生成AIをフル活用した世界観の創出と動画制作の手順