MARCO TEMPEST（動画キャプチャー）

マルコ・テンペストは、NASAジェット推進研究所のクリエイティブ・テクノロジストにして、MITメディアラボのディレクター・フェロー、そしてニューヨーク市のMagicLabの創設者でディレクターだ。テクノロジーとステージマジックの経歴をもつテンペストは、アーサー・C・クラークの名言、「十分に発達した科学技術は魔法と見分けがつかない」を体現している。 テンペストの特技は、未来のテクノロジーのプロトタイピングにイリュージョンを使うことだ。イマーシブ（没入的）な体験を作り出すことで、ユーザーが事実上、明日のテクノロジーをいま体験できるようにすることもそのひとつだ。これによって、新たに出現する技術が、人とどのような相互作用を起こすかについて、貴重な洞察を得ることができる。 2月8日、テンペストは自身の最新の成果をひそかに発表。世界初のコンピューター・プログラマーであるエイダ・ラブレスの物語を、リアルタイムAIストーリーテリングによって蘇らせた。「この作品は、ウェブカメラ付ノートパソコンで、エヌビディアの『エイダ・ラブレス』アーキテクチャを使ってレンダリングしたもので、彼女のビジョンの本質である『機械にはアートを創造する能力がある』を具体的に示しています」とテンペストはメールで述べている。 ラブレスは、コンピューターの開発における重要人物であり、この方法で蘇らせるには最適な題材だ。1833年、17歳の若き貴婦人は「階差機関」と呼ばれる巨大で複雑な計算機を作るための資金を集めていた風変りな科学者チャールズ・バベッジと出会った。その機械は当時の工業用織機のようにパンチカードを使ってプログラムするものだった。ラブレスはそのカードのためのプログラムを書く仕事を引き受けた。彼女は、いつか機械がアートを生み出せるようになると心に思い描き、200年近くたった今、それが実現した。

オープンソースのソフトウェアや自作のiPhone用アプリを使用

「私はオープンソース・ソフトウェア（ComfyUI、Stable Diffusion、OBS、OSC、NDI）と複数のモデルをノートパソコン上でローカルに動かし、AIを使ったストーリーテリングをライブで実行できるように、カスタマイズしたシステムを活用しました」と、テンペストは述べている、このシステムは、ビデオセグメンテーションを行うために作られた専用アプリ（テンペストがプログラムを書いた）の動くiPhoneを通じて、テンペストのパフォーマンスをキャプチャーする。「このアプリは、効率よく背景を除去し、私の手の動きを追跡して、映像と位置データの両方を、ライブパフォーマンスを行うシステムに送ります」 テンペストは、画像とビデオシーケンスを生成するために、高速で作動するオープンソースのComfyUIを使った。これはウェブインターフェイスで生成AIを操作できるツールだ。そして、事前にプログラムされたAI画像生成のプロンプトとコンピュータービジョンへの統合を行うための専用ワークフローを作り、そのすべてをAximmetryというショーコントロール用のソフトウェアで編成した。これが映像合成と全体のタイムラインの管理を担当する。これに含まれる機能には、ジェスチャーの認識、音楽の再生、ボイスクローンのキュー、動的な調整のために特定のパラメータをComfyUIに送り返すことなどがある。「このシステムは自律的に判断を下し、パフォーマンスの最中に表示されるコンテンツの選択とレンダリングを自動的に行うことができます」と、テンペストは語っている。 マルコ・テンペストは、デジタル技術を使って驚くような方法で観客とコミュニケーションを取ることに関しては折り紙付きだ。TEDカンファレンスのレギュラー・スピーカーである彼は、デジタル技術を用いて、しばしば人を驚かせるような没入感のある体験を生み出すことで知られている。テンペストがキャリアを通じて常に目標としているのが、人をインスパイアすること。難しい話題を取り上げ、それを説明する方法を見つけること。メッセージを効果的にやりとりすること。人を熱狂させ、驚かせること。創造、革新することだ。優れたアイデアは、優れた人々と同じように、育てられるものであり、適切な配慮と支援があれば、不可能なことは何もない、とテンペストは信じている。