デバイス上での生成AI技術活用

1年以上にわたって生成AIが大きな業界の話題になっている事は言うまでもない。すでにコンテンツクリエイターの道具を提供する企業は、何らかの形で生成AIを製品の中に組み込んできた。 これに対して、Appleは大幅に遅れているとする意見もあるが、果たしてそうだろうか？ たしかにクラウドに情報を送ってのAI処理は遅れているというよりも、Appleはポリシーとして行っていない。ユーザのデータは可能な限りネットには送信しないポリシーがあるからだ。 ごく初期の段階では、ネットに音声データを送信していた音声認識も、現在はすべてデバイス上で行っている。 世の中のオープンソースで開発されている生成AIに関し、AppleはNeural Engine上での動作対応をコミュニティ内で提供していることも少なくない。常に研究開発は行っているのだが、端末への実装に関しては、基本的にはデバイス上での動作が基本だ。 そもそも、Appleはデバイスのメーカーでありクリエイター向けアプリケーションを提供していたり、文書ソリューションを提供する企業でもない。あくまでも作っているのは道具としてのハードウェアだ。 では、どのようにすればプロフェッショナルクリエイター向けにより良い道具として進化することができるのか。その部分にフォーカスして、今回は自社ブランドの2つのアプリケーションを開発しデモンストレーションした。 動画編集アプリFinal Cut Proと、音楽編集アプリLogic Proの2つだ。 Final Cut Pro に関しては、iPhoneを複数接続してワイヤレスでマルチカメラの収録を行い、iPad Pro上で軽くタップするだけでタイミングよくスイッチングを行うといったデモを行っていた。しかし、本領発揮するのはAIを用いた編集。 より、高速かつ的確に被写体を認識できるため、動画に対して被写体と背景を分離し、その上でエフェクトをかけるといった複雑なことが極めて簡単にできるようになっていた。 Logic Pro では、伴奏をドラム、ベース、バッキングのキーボードなど、パートごとに簡単な演奏指示を行うだけで、自動的にリフを生成してくれるAI伴奏機能が使えるようになる。 さらに各トラックが分離されていない演奏セッションの音響データを入力すると、自動的に分析してボーカル、ドラム、ベース、それ以外に極めてクリアな音質で分離し、ステムデータにしてくれる。ここで活用されているのもNeural Engineだ。 トラックを自動分析し、コード進行をカスタマイズしながら、伴奏を最適化。最適化したステムから必要なトラックだけを残しつつ、AI生成の伴奏を調整していくと、 まるで自分だけのスタジオミュージシャンを使い、演奏指示を与えているかのように曲作りをしていくことができる。