人の動きはどう生成されるか？

　こうしたフィラーのような風景カットの生成は、編集においてはそれほど喫緊の問題にはなりにくい。どうしてもそのカットでなければならないような、明確な動機が薄いからだ。 　一方人物が写っているカットの場合は、他に代わるものがなく、この続きが欲しいという動機が強い。実際に多く使用されるのは、人物の動きに対してであろう。 　そこで女性が1回ターンする動画を途中でカットし、生成AIがどのようにこの動画の続きを作るのかを観察してみた。このカットにはオリジナルの続きがあるが、あえてターンの途中でカットして、続きを生成させるという方法をとった。 　生成された動画を見てみると、人がターンするというアクションをAIが理解しており、その続きが生成されている。ただ、2回転するとは思わなかった。実際の動画と比較してみると、面白い。AIからすれば、1回転するだけという動きに、意味が見いだせなかったのだろう。 　実物と比較すると、背後の風景はかなり解像感が落ちる。このあたりは生成できないというより、背景に対してどれぐらいの精度でどれぐらいのマシンパワーを裂くのが現実的なのかという、アルゴリズムの問題だろう。 　なおオリジナルの動画は、150%のハイフレーム撮影である。こうしたハイフレーム動画に対しても生成できるのか試してみたところ、問題なく生成できるようだ。 　トレーナーのお腹の部分が、遠心力によって膨らんでいるが、これは変というよりも、そういうこともあり得ると考えさせられる。 　将来的には、モデルが着用している服の柄などから類推して、市販されている服のデータを参照し、その伸縮率を取得してくるということも可能になるかもしれない。 　では逆にタイムラプス撮影したものはどうなるのか。こちらは途中でガクンと解像度が落ちるのでどこからがAIなのか分かりやすい。映像的に速く流れ去る地面や草むらのディテールを再現するのは難しそうだが、空の雲はほとんど変わらない。このあたりも、どれぐらいのマシンパワーを使ってディテールを再現するかの閾値の問題のように見える。 　ただこの動画の見どころは、参照可能な最終フレームの画像から、このさき道が2又に分かれており、そのどちらかに進むはずだという推測ができている点である。本物の映像は左側に進むのだが、AIはおそらく映像の傾きから、右側に進むだろうと推測したというわけだ。この判断は、理にかなっている。