写真：Impress Watch

Adobeは、「Adobe Firefly」の動画生成モデル「Adobe Firefly Video Model」を10月14日から提供開始した。Adobe Firefly webアプリでベータ版として公開するほか、Premiere Proなどにも順次導入していく。 【この記事に関する別の画像を見る】 テキストプロンプトから動画を生成できるほか、「カメラコントロール」と呼ばれるメニューから、動画のアスペクト比やフレームレート、撮影スタイルなどの指定も可能。プロンプトを書かずにもスタイル等を修正できる。画像から動画の生成にも対応する。 Adobe MAX 2024で発表され、Premiere ProやPhotoshopなどにもFirefly Video Modelが導入される。詳細は別記事で紹介する。 ■ テキストから動画生成(ベータ) Adobe Fireflyにおいて、テキストから画像作成だけでなく、テキストから動画作成に対応した。「テキストから動画生成(ベータ)」では、テキストプロンプトや、さまざまな「カメラコントロール」、参照画像を使用し、タイムラインの“ギャップ”を埋める動画を生成できる。 なお、現時点ではプロンプトは英語のみの対応となる。 例えば動画制作の現場では、音にあわせて動画をつなぎたいが「長さが若干足りない」といったケースが多いという。その場合、別のシーンを繋いで音に合わせるといった作業が発生することがある。テキストから動画生成により、画素材の追加分(Bロール)を自動生成して、少し動画の尺を長くして、動画をうまくつなげるようになる。 Premiere Proでの利用の場合、動画は2秒、オーディオは10秒の拡張が可能で、無駄なカットを入れずに繋ぐ、といった使い方が可能になる。 mp4対応のブラウザで閲覧してください また、タイムラインに欠けているショットがある場合も、プロンプトを使用して、プロジェクトの完成に向けたインサートショットを生成できる。 プロジェクトのイメージ共有にも活用できる。例えば、VFX作業に入る前や撮影現場に戻ってショットを撮影する前に、Adobe Fireflyを使用し、これらのショットを視覚化し、計画することで、撮影班とポストプロダクション間のコミュニケーションを効率化することができるという。 また、Adobe Fireflyを使用し、炎、水、光漏れ、煙などの雰囲気を演出する要素を生成し、既存コンテンツに視覚的な奥行きを加えられるようになる。これらの要素を、黒や緑の背景に生成し、Premiere ProやAfter Effectsなどのアドビツール内の描画モードやキーイングによって、既存のビデオに重ねることも可能となる。 ■ 画像から動画生成 もう一つの特徴が、「画像から動画生成」だ。テキストプロンプトと一緒に参照画像も利用し、ビデオから1つのフレームを抜き出してアップロードするだけで、クローズアップなどの既存のコンテンツの補完ショットを簡単に作成できる。 写真だけでなく、動画から1フレームを抜き出して、Adobe Fireflyの画像から動画生成を使って、動画素材を作成できる。 元のモーションや意図の変更も可能。例えば、編集者が、あるクリップに含まれるアクションについて、再撮影を監督に提案したい場合、同じルックを維持しながら変更がストーリーにどう役立つかを視覚化して伝えられる。 ■ Adobe Fireflyにおけるプロンプト作成のコツ 動画を作成するための「プロンプト」は難しい。そこで、Adobe Firefly Video Modelでは、カメラの寄り、アングル、カメラモーションなどの「カメラコントロール」を搭載し、プルダウンメニューで画像の変更が可能になる。 また、動画を作成するためには、動画の構造理解も需要だとする。ショットのタイプ＋キャラクター＋アクション＋場所＋スタイルなどをしっかり指定することで、イメージに近い動画を作成できる。 ・照明、撮影、カラーグレーディング、ムード、スタイルについてできるだけ多くの言葉を使って具体的に説明する ・あいまいな表現は避け、明確かつ詳細に説明する ・具体的な動詞や副詞を使ってアクションを定義する ・多くの形容詞を使って説明する ・時間帯や天候などの時間的要素を含める ・必要に応じてカメラの動きを追加する Adobe Firefly生成AIモデルは、Adobe Stockなどのライセンスコンテンツやパブリックドメインのコンテンツでトレーニングされており、ユーザーのコンテンツは学習には利用しない。また、Fireflyを使って作成したアセットには「コンテンツクレデンシャル」が付与され、クリエイターがコンテンツの帰属表明と来歴証明を行なえる。コンテンツを扱う人や見る人も、どのように作成されたか、AIが関与しているか、などを確認できる。