なぜ私たちは、別々の出来事から生まれた音と映像を一つの出来事として感じるのか？
ココナツの殻を打ち合わせる音が、馬の蹄の音になる。セロリを折る音が、骨の折れる音になる[Ryan, 2015]。映像とともに聞くとき、私たちはその音を、実際の発音源とは異なる出来事に結びつけて受け取る。そこでは何が起きているのだろうか。
『モンティ・パイソン・アンド・ホーリー・グレイル』は、ココナツを打ち鳴らすことによって発生する馬の足音を、音を作る行為ごと観客に見せてしまう（しかもそこに馬はいない）。この場面を手がかりにすれば、問いはさらに複雑になる。音の正体がココナツだと知っていても、それを馬の足音として受け取ることはできるのではないか。
例えば手を叩く、という行為は現象と音が強く結びついている。手を叩くと、その衝突によって周囲の空気に圧力の変動が生じ、音波として伝わる。現象に付随する空気（媒質）の振動が日常的に我々が「知覚」する音の物理的な基盤となる。そもそも音というものは現象に紐ついている。
そして知覚する、という所が「オーディオ・ビジュアル」というものをさらに難しくする。
主観的な体験は、体の随所のセンサーから神経信号に変換された情報を、神経系で処理し情報統合して得られるものである。つまり我々は現象をそのまま体験しているのではなく、脳によって統合された個別の情報を一つの体験、として認知しているのである。
さらには経験知と因果推論によって、この乖離した情報が共通の出来事によって起きたのだ、という理解を行っている。コンテンツとしては一個のオーディオ・ビジュアル体験だとしても、発生、伝達、解釈それぞれのレイヤーで様々な遅延や変換に取り込まれることになる。
花火や雷の例がわかりやすいが、同じ場所でほぼ同時に生じた光と音が、空気中を観測者まで直接伝わる場合、光が先に到達する。距離が大きくなるほど、両者の到達時間の差は広がる。（光速は音速の約87万倍速い、1光秒離れた場所に音が届くのは10日後、最もそこに到達するまでに拡散して減衰し切っちゃうだろうけど）
これは代表的な視覚刺激と音響刺激が乖離した現象である。しかし同時性を伴わずとも、紀元前のギリシャのアリストテレスは『気象論』において、雷の音と光の関係性を、見る方が聞くことよりも早い、という説明と結びつけている。現代的な伝播速度の測定や、雷の電気的な発生機構の解明よりはるか以前に、である。我々は視覚刺激と聴覚刺激を同時に受けとらなくても、共通の出来事として理解できる。
オーディオ・ビジュアル体験は、異なる感覚入力が一つの経験としてまとまることで成立している。しかし、そのまとまりは、発音源についての知識や、目の前の出来事を事実だと信じることと必ずしも一致しない。
我々の中で異なる感覚入力が一つの出来事としてまとまる際には、それらが共通の原因から生じたかどうかの推定が関わる。Kördingらは、視聴覚の位置判断において、この推定を含むモデルが、感覚情報の統合の仕方をよく説明することを示した（Körding et al. 2007）。
Rohe & Noppeneyは視聴覚の位置判断を用い、こうした共通原因の推定を含む感覚統合と、脳内の階層的な処理との関係を検討している（Rohe & Noppeney, 2015）。
これらの研究は空間的位置の判断を扱ったものだが、ここではその問いを、作品の中で音と映像が一つの出来事として受け取られる条件へと広げて考えたい。
この立場からオーディオビジュアルを再考するならば、オーディオビジュアル作品が構成しているのは、音と映像の対応だけでなく、それらが一つの出来事に属すると感じられる条件でもある。
しかし、音と映像を結びつけるには、そもそも混ざり合った音の中で、何を「その対象の音」として捉えるかが問題になる。
ここで一つ、興味深い事例を紹介したい。
MetaのSAM Audio（https://ai.meta.com/research/samaudio/）というサービスは、映像の中から指定した対象物、または音の属性を指定し、それをピックアップするサービスだ。
このサービスでは、混合された音から、指定された対象の音を分離するモデルである。利用者は、テキスト、映像上の領域、時間区間などを使って対象を指定できる。モデルは混合音と指定条件をもとに、対象音と残余音を推定・再構成する[Shi et al., 2025]
これは人間の知覚の神経機構を再現したものではないが、「何を対象として意識するかが、音の分け方に関わる」という問題を、モデルとして具体化している。
混ざり合った音の中で、私たちは何を「一つの音」として聴き取るのか。そのまとまりは、音の物理的な特徴だけでなく、対象への注意や命名によって、どのように変わるのだろうか。
カクテルパーティー効果のような複数の話者がいる状況で特定の声を選択的に聞くことや[Cherry, 1953]、注意を向けていなかった声の中の自分の名前に気づく[Wood & Cowan, 1995]、という現象は、我々が聴取する音は、何に注意を向けるか、そして音の持つ情報に自己関連性があるかが重要であることを示している。何を聴き取るかに注意や自己関連性が関わるとすれば、聴き取った音を何の音として受け取るかには、どのような経験や文脈が関わるのだろうか。
発話した対象が石だった場合、我々はしばらくの間、本当に石が喋ったかどうかを疑うことになるだろう。（私はインコに初めて話しかけられた時、確かにそのような反応をしたことを覚えている。）
私たちはそのとき、聞こえた声を、何から生じたものとして受け取るかを問い直すことになる。因果関係への納得だけでなく、その関係が定まらない驚きや違和感もまた、オーディオ・ビジュアル体験の一部なのではないか。
オーディオ・ビジュアル体験は、身体と感覚器の特性、入力の信頼性、過去の経験や文脈、注意の向け方などに条件づけられている。
作品は、受け手のどのような身体や経験を前提に、音と映像の関係を組み立てているのだろうか。
もし、一つの出来事として感じられる条件が身体と感覚系に依存するなら、異なる感覚系を持つ生物は、同じ環境をどのような出来事のまとまりとして捉えるのだろうか。
Ryan, R. (2015, June 19). The art of Foley and sound effects secrets. ABC Radio National.
Gilliam, T., & Jones, T.（監督）. (1975). Monty Python and the Holy Grail. Python (Monty) Pictures.
アリストテレス（三浦要訳）（2015） 気象論・宇宙について，岩波書店
Rohe, T. & Noppeney, U.（2015）“Cortical Hierarchies Perform Bayesian Causal Inference in Multisensory Perception.” PLOS Biology, 13(2), e1002073. https://doi.org/10.1371/journal.pbio.1002073
Körding, K. P. et al.（2007）“Causal Inference in Multisensory Perception.” PLOS ONE, 2(9), e943.
Shi, B., Tjandra, A., Hoffman, J., Wang, H., Wu, Y.-C., Gao, L., Richter, J., Le, M., Vyas, A., Chen, S., Feichtenhofer, C., Dollár, P., Hsu, W.-N., & Lee, A. (2025). SAM Audio: Segment Anything in Audio. arXiv. https://doi.org/10.48550/arXiv.2512.18099
Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. The Journal of the Acoustical Society of America, 25(5), 975–979. https://doi.org/10.1121/1.1907229
Wood, N., & Cowan, N. (1995). The cocktail party phenomenon revisited: How frequent are attention shifts to one’s name in an irrelevant auditory channel? Journal of Experimental Psychology: Learning, Memory, and Cognition, 21(1), 255–260. https://doi.org/10.1037/0278-7393.21.1.255
