イヤホンで分身ロボットを遠隔操作する研究

NECが2023年夏にフォスター電機と共同開発し発売した、B2B向け完全ワイヤレス型ヒアラブルデバイス「RN002 TW」。このRN002 TWを使い、分身ロボットOriHime(オリヒメ)を遠隔操作する研究が進められています。 ヒアラブルデバイス「RN002 TW」 RN002 TWは耳による個人認証(耳音響認証)が可能なデバイスで、イヤホンと同じような見た目をしており、3軸加速・3軸ジャイロ・3軸コンパスの合計9軸センサーを搭載します。音響解析で耳の中の脈拍を抽出、脈拍数の変動をモニタリングしたり、温度を計測したりすることが可能です。 生体情報モニタリングのほか、左右のIMUセンサー(慣性計測装置)による詳細なヘッドトラッキングなどが出来る仕組みを備えます。 一方OriHime（オリヒメ）は株式会社オリィ研究所の「オリィ」氏こと吉藤健太朗氏が開発。ALSなど難病による寝たきりや重度障害などで自宅や病院などから移動できない人の為に作られた、遠隔操作が可能な分身ロボットです。 インターネット環境にある操作者（いわばロボットに乗る側の人）が操作用の端末を使い、離れた場所にある本体を動かして使用します。その際、操作者は音声とジェスチャーでOriHimeに指示を出し、遠隔地にスピーカーで声を届けます。 OriHimeからは頭部に取り付けられたカメラやボディ部分のマイク端子を通じて遠隔地の様子がほぼ遅延なくリアルタイムで操作者に送られてくるため、双方向のコミュニケーションが可能になっています。 操作者は"ロボットの中の人"として、現地に一緒にいるような感覚が得られるのが大きな特徴。2021年には日本橋に分身ロボットカフェがウェイターとなって働く「分身ロボットカフェDAWN ver.β」もオープンし、障害などの困難を抱える人が、寝たきりでも働ける場として話題を呼びました。

このOriHimeですが、現在はスマートフォンやタブレット、パソコンなど、液晶つきデバイスにインストールしたアプリから操作する仕様になっており、アプリの画面をタップすることで、左手・右手を動かしたり、大きく頷く、首を振るなどの操作が可能です。 これをヒアラブルデバイスRN002 TWで操作できるようにするのが今回進められている研究です。 操作者がRN002 TWを装着することで、頭の動きや揺れなどをセンサーがとらえます。その動きや声をアプリ「Head Tracker」が集約。ここをハブにすることで、OriHimeのカメラに対してパン・チルトをかけるなどの指示が可能になります。つまり、液晶付きデバイスが触れない状態の人でも、1人でOriHimeを乗りこなせるようになる、というわけです。 Apple Vision Proが米国で先行発売され、いよいよウェアラブルコンピューティングの時代がやってきたなと感じる今日この頃、ウェアラブルデバイスが進化することで、どんな環境や状況の人であっても、社会から取り残されない仕組みが一般化するといいですね。