カメラ不要の視線追跡・表情認識技術、米コーネル大研究者が発表。音を使い小型で低消費電力

米コーネル大学の研究グループが、カメラを使わず音の反射で目の動きや顔の表情を捉える技術「GazeTrak」と「EyeEcho」を開発しました。 スマートグラスやXRヘッドセットなどのアイトラッキング(視線追跡)機能は、眼球に近赤外線などの光を当て、反射をカメラで捉える方式が一般的です。 しかしコーネル大学博士課程でこの研究を率いるKe Li氏は、カメラを使う方式は消費電力が大きくバッテリー持続時間に影響するほか、映像を使うことによるプライバシー面の懸念もあるとして、音響を用いるトラッキング方法を考案しました。 この技術では、メガネのフレームに取り付けたスピーカーから可聴域外の音波を発し、マイクで反射を拾うことで視線や表情をトラッキングします。 まずひとつめのGazeTrakは「音響信号による初の視線追跡システム」と称する技術。1つのスピーカーと4つのマイクをメガネのフレーム内側に配置しています。 そして、スピーカーからパルス状の不可聴音波を発し、眼球と目の周囲からの反射を信号として拾います。この信号は特別に鍛えられた人工知能を介し、視線の方向を継続的に推定するのに用いられます。 現在のところ、GazeTrakはまだカメラによる視線追跡ほどの精度を持っていません。しかし音声信号がこの用途にとって有効であるという概念は実証しており、今後の最適化によってマイクやスピーカーの数を減らすことも可能とのことです。 もう一つの技術であるEye Echoは、メガネのヒンジ横に取り付けられたスピーカーとマイクのセットにより、顔の表情の変化に応じた皮膚の動きを捉えます。顔から反射してきた音響は信号としてAIを介し解釈します。 EyeEchoは、たとえば騒がしいカフェや騒音の絶えない路上などでも機能し、これらの場所でもアバターを使用したビデオ通話を可能にします。コーネル大学は「一部のスマートグラスには顔を認識したり、いくつかの特定の表情を区別したりする機能があるものの、現時点ではEyeEchoのように継続的に表情を追跡するものはない」と説明しています。 この技術は、スマートグラスやVR、ARヘッドセットなどに有効なだけではありません。たとば、テキスト認識技術と組み合わせれば、弱視の人がウェブサイトを閲覧する際に視線の先にある文章を読み上げるといった使い方も考えられます。 さらに、アルツハイマー病やパーキンソン病などの神経変性疾患の診断や監視への利用なども考えられるとのことです。こうした疾患の患者は目の動きに特徴が現れ、また表情に乏しくなる傾向があるため、GazeTrakやEyeEchoのような技術を使うことで、病状の進行を追跡できる可能性があるとのことです。 いずれの技術もまだプロトタイプの段階ですが、もしかすると数年後には、まずスマートグラスやVRヘッドセットにこの技術が採用されているかもしれません。研究者の一人はこれらの技術が「小型で、安価で、超低消費電力なので、スマートグラスとして毎日着用できる。バッテリーを大きく消耗することもない」と述べています。