被験者60人は1時間、女性2人のうち1人が「フットボールの試合は終わった」などの短い文章を繰り返し口にするビデオを視聴した。次に、同じ話者からの同様の文が大きな背景雑音とともに聞こえる音声録音を聞きました。彼らは理解した単語を声に出して言うように求められました。結果: 唇の動きと発話文が同じ話者からのものである被験者は、異なる話者を見たり聞いたりした被験者よりもはるかに多くの単語を理解しました。
研究者らは、同様の効果が以前にも観察されたことがあるが、それは音響情報または光学情報のいずれかに関してのみであり、両方を同時に観察することは決してなかったと書いている。一部の研究では、人は聞き慣れた声を他の人よりもよく理解できることが示されています。この原因は脳が音響情報を保存する方法にあるのでしょうか?たとえば、語彙、発音、表現形式など、話すときの個々の話者の特徴を保存し、より効率的な音声認識のために必要なときにそれらを取得する一種の辞書を作成することによって行われます。
しかし、新しい研究では話者に慣れるために視覚的な情報しか利用できなかったため、この理論は正しいとは言えないと研究者らは説明している。その結果については 2 つの異なる説明が考えられます。たとえば、脳は重要な視覚情報を抽出し、それを理解を助ける音響コードに変換することができます。しかし、彼らの意見では、2 番目の変形の可能性がより高いと考えられます。脳は、唇の動きを観察するときに個人の話し方の基本的な特徴を記録し、言語の音の中でそれらを見つけます。いずれにせよ、今回の研究は、聴覚障害のない人にとっても視覚が音声認識の重要な部分であることを改めて強調した。
