ピアニストの超絶技巧と表現力に対応した「リアルタイム運指反映システム」を開発。クラシック音楽×デジタル技術の新たな音楽体験の実現を目指す

株式会社KADOKAWAと株式会社ドワンゴは6月26日（水）、東京交響楽団の特別監修のもと行う業界初の“バーチャルアーティスト”開発プロジェクト「ポルタメタ」のお披露目記者会見を開催した。 『ポルタメタ』画像・動画ギャラリー こちらの会見では、本プロジェクトで開発されたバーチャルアーティスト（ピアニスト）の「潤音ノクト」の3D演奏姿と、ピアニストの高度な演奏技術と表現力に対応した新システム「リアルタイム運指反映システム」を初公開。東京交響楽団との初共演となるリハーサルの模様も披露された。 新しいクラシック音楽の演奏体験の提供を目指す「ポルタメタ」プロジェクトでは、バーチャルアーティストとプロオーケストラが物理的には異なる場所で生演奏を行いながら、オフラインの会場で完全に同期された合奏を披露することを実現。新たに開発された「リアルタイム運指反映システム」により、バーチャルピアニストのパフォーマンスをリアルタイムに再現している。 この「リアルタイム運指反映システム」では、繊細かつ高速なピアノ演奏に対応するため、「指と鍵盤の動きを再現する」、「音と3D映像のタイムラグを最小化する」といった技術課題に取り組んだという。結果として、モーションキャプチャ技術とMIDIデータ認識の組み合わせを基盤とした手法を構築し、演奏のリアリズムと精度の大幅な向上を実現した。 6月26日（水）には、潤音ノクトのデビュー公演となる「フェスタサマーミューザKAWASAKI 2024」に向けたテクニカルリハーサルを実施。細かな調整などを行ったのち、通しの演奏をもって締めくくられ、約2時間にわたるリハーサルは無事に終了したという。 「フェスタサマーミューザKAWASAKI 2024」は8月12日（月）に、ミューザ川崎シンフォニーホールで開催予定。本件に関する詳細については、以下のリリースも参照されたい。 ■～クラシック音楽×デジタル技術の新たな音楽体験を実現～ バーチャルピアニストが完成、潤音ノクトが３D演奏デビュー！ ピアニストの超絶技巧と表現力に対応した新システムを開発、『リアルタイム運指反映システム』初公開 株式会社KADOKAWA（本社：東京都千代田区、取締役代表執行役社長 CEO：夏野剛）と株式会社ドワンゴとは、東京交響楽団の特別監修のもと行う業界初の”バーチャルアーティスト”開発プロジェクト「ポルタメタ」のお披露目記者会見を6月26日（水）ミューザ川崎シンフォニーホールで開催しました。 会見では、本プロジェクトで開発したバーチャルアーティスト（ピアニスト）潤音ノクト（読み方：うるねのくと）の3D演奏姿を初めて公開し、東京交響楽団との初共演となるリハーサルを披露しました。また、プロオーケストラとのライブ合奏を実現する、ピアニストの高度な演奏技術と表現力に対応した新システム「リアルタイム運指反映システム」を初公開しました。 バーチャル空間とリアル空間の境界をなくし、オーディエンスにまったく新しいクラシック音楽の演奏体験を提供することを目指した「ポルタメタ」プロジェクトは、バーチャルアーティスト（ソリスト）とプロオーケストラが物理的には異なる場所で生演奏を行いながら、オフラインの会場で完全に同期されたアンサンブル（合奏）を披露することを実現しました。 今回、新たに開発した「リアルタイム運指反映システム」は、バーチャルピアニストがプロオーケストラとライブ共演する際、演奏技術と表現力の両面で違和感のない完璧なパフォーマンスをリアルタイムに再現します。具体的には、繊細かつ高速なピアノ演奏に対応するために「正確でなめらかな指と鍵盤の動きを再現し、音と３D映像のタイムラグの最小化する」という技術課題に取り組みました。その結果、モーションキャプチャ技術とMIDIデータ認識の組み合わせを基盤とした手法を構築し、数々のテストと細かい調整を経て新システムの開発に成功。これにより、演奏のリアリズムと精度が大幅に向上し、観客に新しい形の音楽体験を提供することが可能となりました。 また、この日、初めて「リアルタイム運指反映システム」を使用して、潤音ノクトのデビュー公演となる「フェスタサマーミューザKAWASAKI 2024」（8月開催）の東京交響楽団との共演に向けたテクニカルリハーサルを行いました。ピアノの音の出力とオーケストラの音との聞こえ方の調整や、細かなスピーカーの位置調整などを行った後、通しの演奏で締めくくり、約2時間のリハーサルが無事終了しました。リハーサル後の会見では、原田慶太楼(ポルタメタ審査委員長/東京交響楽団正指揮者)、潤音ノクト(バーチャルアーティスト／ピアニスト)が登場し、コンサート本番に向けた意気込みを語りました。 ・◆「フェスタサマーミューザKAWASAKI 2024」フィナーレコンサートへの意気込みコメント 【潤音ノクトより】 初めてこのコンサートに出演すると聞いたときは、こんなに大きな音楽祭で演奏ができるということが想像できなかったのですが、本番が近くなるにつれ、クラシックの世界で新しい一歩を踏み出そうとしていることを実感しました。緊張よりもわくわくドキドキが勝っていて、本番が楽しみです！ 【原田慶太楼より】 フェスティバルの最後ということで華やかに終わりたい、そして常に未来を見ていきたいというメッセージを、音楽を通して、お客さんにお伝えしたいと思っています。その中で、今回のような未来性のあるプロジェクトは他にはないんじゃないかと思っていますし、テクノロジーとクラシックがマリアージュした素敵な空間になると思います。 ・「フェスタサマーミューザKAWASAKI 2024」フィナーレコンサート概要 ◆日　時：2024年8月12日（月・振休）15:00開演（14:00開場｜14:20～14:40 プレトーク） ◆会　場：ミューザ川崎シンフォニーホール ◆出演者：＜指揮＞原田慶太楼（東京交響楽団正指揮者） ＜ヴァイオリン＞川久保賜紀 ＜ピアノ＞潤音ノクト（バーチャルアーティスト） ◆演奏曲：ムソルグスキー（リムスキー＝コルサコフ編）：交響詩『禿山の一夜』 吉松隆：アトム・ハーツ・クラブ組曲第2番 op. 79a 伊福部昭：ヴァイオリンと管絃楽のための協奏風狂詩曲 デュカス：交響詩『魔法使いの弟子』 ＜Discover the Future＞ガーシュウィン：ラプソディー・イン・ブルー media ◆料　金：S席5,000円　A席4,000円　B席3,000円 ※U25（小学生以上25歳以下）：各席半額 ◆予約・問合：ミューザ川崎シンフォニーホール　044-520-0200（10:00～18:00） ミューザWebチケット：（24時間対応／火・水2:30~5:30を除く） ◆公式サイト： ・「ポルタメタ」概要 2023年10月にクラシック界初となる「バーチャル上に精密に楽器演奏者を再現する」技術を導入したバーチャルアーティスト開発を行うプロジェクト「ポルタメタ」を始動しました。KADOKAWAとドワンゴは、リアルとバーチャル、クラシック音楽とテクノロジーが融合した新しいコンセプトのバーチャルアーティストをプロデュースし、クラシックファンの裾野を広げることを目指します。現在は動画・SNSでの音楽活動を中心に、今後はリアルのコンサートでの演奏も視野に入れ、世界を舞台に展開していく予定です。バーチャルアーティスト・潤音ノクトは、2024年2月に行われたオーディションにてピアニストとして選定され、先日行われた「ニコニコ超会議2024」では、2Dの姿で参加しました。 ◇プレスリリース（2023年10月24日： ◇「ポルタメタ」公式サイト： ◇「潤音ノクト」公式YouTube： ◇「潤音ノクト」公式X：