テキストや写真から動画生成、編集もすぐ。オールインワン動画生成AIプラットフォーム「Clipfly」の実力
画像処理ソリューションを提供する「成都恒図科技」が動画生成AIプラットフォーム「Clipfly」をリリースした。Clipflyは同社の画像編集ソフトウェア「Fotor」から誕生した世界初のオールインワンAI動画制作プラットフォームで、AIを活用した動画生成や動画の高画質化、編集など多くの機能を備えている。 Fotorは画像生成AIツール、また画像編集AIプラットフォームとして世界でも知られている。2022年8月に動画生成AIの機能をリリース、その後もAIを活用したキャラクター生成やアニメーション化、画像の高画質化などの機能を相次いで発表した。月間アクティブユーザー数（MAU）は1500万人に達する。 恒図科技を創業した段江CEOによると、Fotorは画像処理分野で多くの経験を重ね、汎用性の高い技術を持つ。ユーザーからの要望を受けて、動画生成AIの開発にも着手することを決めたという。 動画生成AIはまだ初期の段階にあり、AIツール間に互換性がないため、ユーザーの作業手順は煩雑だ。まず画像生成AI「Stable Diffusion」や「Midjourney」などで静止画像を生成、それを動画生成ツール「Runway」や「Pika」などを使って動画にし、最後に動画編集ツール「Adobe Premiere Pro」や「剪映（Cap Cut）」などで編集して、ようやく動画が完成する。
恒図科技はそこに着目し、テキストや静止画像からの動画作成、動画編集などの機能を備えたオールインワンの動画制作プラットフォームClipflyで解決を図った。これによりユーザーは、ひとつのプラットフォーム上で動画制作に必要なあらゆる作業を済ませることができる。 Clipflyでは、まずプロンプトを入力して1～4枚の静止画像（フレーム）を生成し、それぞれの画像から4秒程度のビデオクリップを作る。全体が十分な長さになったら動画エディターで字幕や音楽を挿入し、編集して動画を完成させる。 段CEOは、ショート動画広告などでクリエイターが求めているのはワンカットの動画ではなく、次々に変化する多彩なビデオクリップだと考えている。Clipflyは基盤モデルを最適化することで、生成したビデオクリップの採用率を向上させ、クリエイターの要望に応えた。「1分間の動画生成が可能なOpenAIの『Sora』が発表されたものの、いまだに一般には公開されていない。私たちはオールインワンのプラットフォームを通じて動画生成AIの問題点を解決し、動画クリエイターが使いやすいツールを提供する」と語った。 Clipflyの開発プロジェクトが始動したのは2023年6月。開発チームは実績ある技術や製品開発スキルで、キャラクターの一貫性などの課題を克服したという。開発には半年を要したが、それはオールインワンのAI動画プラットフォームに対して多くの要望があったため、開発チームが動画エディターをゼロから作り、さまざまなタイプの視覚モデルを組み合わせたからだ。 ClipflyではStable Diffusionなどオープンソースモデルを使って最適化を行い、テキストから画像や動画を生成する機能を実装した一方で、画像処理分野の中心的なアルゴリズムに基づいて画像補正機能を持たせ、画質を向上させた。画像補正の分野では、AIGC（AI生成コンテンツ）の考え方を取り入れるチームもあるが、大量の画像を使った訓練や、未処理の画像から新たに画像を生成するには多くの時間やリソースを必要とする。Clipflyはオーソドックスな画像処理アルゴリズムとコンピュータービジョンアルゴリズムをベースにして、端末側で画像処理計算ができるようにし、処理の高速化を実現した。 Clipflyはまだオンラインでのテスト段階にあり、ユーザーの多くはFotorの利用者だ。段CEOは「Clipflyは私たちのあらゆる力を結集して作り上げた、世界初のオールインワン動画生成AIプラットフォームだ」と語った。 （翻訳・36Kr Japan編集部）
