音声のみより映像付きの方が聞き取りやすい

――“器としての時間”の影響を明らかにするために、研究者はどんなアプローチをするのでしょうか。 　時間のズレの影響ということでいえば、参考になる研究があります。時間のズレが生じると、視覚と聴覚の相互作用が起きなくなってしまうという実験です。 背後にノイズが入った状態で、人が話している単語を聞き取る実験なのですが、音のみだと正答率が60%ほどだったものが、口の動きが見える映像がつくと80%に上がる、という結果があります。ですが、映像に対して声が1秒ずれて届くと、正答率は音のみの時と変わりません。映像の情報が足されても、時間的なズレがあると何の参考にもならないのです。 ――田中教授の研究で、顔の表情と声色のどちらから相手の感情を読み取るのかを調べる実験がありますが、同じように時間のズレが生じると結果は変わってくるのでしょうか。

[写真]怒った顔と喜んでいる声が合成された動画を見て、感情を読み取る実験。田中教授の研究室では日本科学未来館の来館者に参加してもらって実験を行っている

　先ほどの例は単語の聞き取りでしたが、より複雑なコミュニケーションではどうか、あるいは感情の読み取りへの影響はどうなのか。こうした分野はほとんど手つかずの状態なので興味があります。 　実験するならば、映像が先か、音が先か条件を変えてやってみます。推測ですが、音が遅れるのは例えば、雷のように自然にも起きることなので、人間はある程度対応できるのではないでしょうか。反対に、音が先に届くのは不自然なのであまり対応できない、つまり同じ時間のズレでも、映像と音のどちらが先かによって違った結果になりそうです。オンライン会議などの実際の通信回線では、映像より情報量の少ない音声のほうが先に相手に届くことのほうが多いので、音が先に届くときに感情の読み取りがどうなるのかを調べることには、実践的な意義もあると思います。

コミュニケーションの情報量を調節できる功罪

――“情報の器”もフル活用してコミュニケーションをしていた人にとって、リモートワークは少し辛いかもしれませんね。一方で、オンライン会議の方が楽だと感じている人もいます。伝わる情報が減ることのポジティブな影響はどのように考えられるでしょう。 　「認知資源」という考え方があります。脳の容量のようなもので、それを超えて多くのことを同時に処理することはできません。コミュニケーションでは、相手の声を聞いたり、表情を読み取ったりしながら、同時に考えたり記憶したりもしています。“器”としての環境の情報にも無意識に注意が払われている状態なので、オンライン会議が楽だと感じる人は、届く情報が減ったことを楽と感じているのかもしれませんね。 　認知資源については、私も外国の研究者とやり取りする時に実感します。外国語では会話だけでいっぱいになってしまって、深く考えがまとまらない、なんてことが時々あります。これは「外国語副作用」といって、認知心理学の研究対象になっています。外国語副作用の研究対象は外国語ですが、聞き取りにくい音声を処理するために認知資源を多く使っていると考えると、本質はオンラインでのコミュニケーションと同じかもしれません。認知資源が不足すると思考にも影響が生じるというのはネガティブな例ですが、そのことを意識すればポジティブな方にももっていけると思います。 ――認知資源が人によって異なるので、カメラの画面をオフにした方が楽に感じるとか、自分に合ったコミュニケーションに調整できるのはオンラインのいいところかもしれませんね。 　それはすごく大事なポイントで、コントロールできるのはメリットですね。一方で、それはデメリットにもつながります。オンラインで、それぞれが受け取る情報をコントロールできるということは、相手が自分からの情報をどれだけ受け取っているのか分かりません。カメラを使っていなくて表情が見えていなかったり、通信の影響で「間」が伝わらなかったり。反対に、意図せず雑音を伝えてしまうこともあるでしょう。それが無意識のうちに相手に影響して、その後の話をネガティブに捉えられてしまうなんてことがあるかもしれません。