科学者らは被験者に、女性の顔が「パ」「タ」「カ」という音節を発音しているビデオ録画を見せた。さまざまな一連のテストで、参加者は口の動きだけを見るか、1 つの音声音節だけを聞くか、または両方の刺激を同時に提示されました。これらのテスト中、研究者らは32個の電極を使用して被験者の脳波を測定した。
音のない口の動きだけで、被験者は話されている音節についての手がかりを得ることができましたが、完全には明確ではありませんでした。特に、音節「カ」はテストの 65% でしか認識されなかったと研究者らは報告しています。一方、音だけは明瞭で、脳波に非常に特異的な信号を生成しました。しかし、興味深いのは、画像と音の組み合わせです。唇の動きと音が一緒に提示されると、音に対する脳の反応時間が短縮され、対応する脳波信号がより早く発生します。この効果は、そのような明確な視覚的手がかりを提供しない「カ」よりも、事実上すべての被験者によって明確に認識された音節「パ」でより顕著であった。
脳はさまざまな感覚刺激を組み合わせることによって言語を分析すると研究者らは書いている。ビジュアル面での魅力は？この場合は唇の動きでしょうか？音響刺激の可能な解釈の数が制限され、脳に残される処理オプションの選択肢は限られているようです。研究者らはこのデータから、おそらく脳にはさまざまな知覚システムの大まかなスケッチがあると結論付けています。視覚的な手がかりによって、どのデザインを取得して使用するかを脳に示すことができるため、広範な検索の必要がなくなります。
