「オーディオ版レイトレーシング」と「物理シミュレーションによる音響空間表現」｜Prismaton

「レイトレーシング」は 3D グラフィックスの重要な技術となっていて、レイトレーシングを使ったリアリティの高いグラフィックス表現を見る機会が増えてきました。 また同時に、「レイトレーシングをオーディオに応用する」といった言及もちょいちょい見かけるようになりました。 しかし、グラフィックスのシミュレーションにレイトレーシングが有効なのは光の特性をレイトレーシングで近似できているからであり、音の特性に関してはレイトレーシングだけで近似するのは困難です。これはもう少し広く知られていて欲しい事実なのですが、何故かあまりきちんと知られていません……。 そもそも悲しいことに、「物理シミュレーションによる音響空間表現(方角、残響、遮蔽などの表現)」を網羅的に真面目に考察した資料は恐ろしく少ないです。この現状では、レイトレーシングだけで音響空間表現が簡単に出来るというような誤解が生まれてしまうのも仕方ない

[theatrical]

完全な門外漢の俺が見てもわかった気になれるので、簡単だと思ってる人間に難しさを理解させる。と言う目的が完全に達成できていそうで、筆者はすごい優秀なんだろうなと感じた

[n-styles]

もっとシンプルなものだと思ってたけど、想像以上に複雑な計算が必要なんだな。そういう計算をすっ飛ばして録音状況を再現できるダミーヘッドマイクがめちゃくちゃ効率的なのがよくわかった。

[altar]

潜水艦が聴く音は屈折した経路で届くから元の位置が推定できなかったり死角ができるって話もあったなあ／両耳に届く音を正確に計算すれば理論上2chで再現できるはず。というかむしろ2chで再現するための技術なのかな

[c-matt]

気温ってどのくらい伝達速度に影響するんだろうと思って調べてみたら思ったよりも影響が大きかった。面白いなー。こういうの、将来的にはVRやARに還元されていくのかな。

[Falky]

なるほどな〜。たいへん。//とことんやった場合、どれくらいリアルに感じるんだろう？正直、光のシミュレーションと比べると、そこまで感動するほどの効果は得られないような予感がするけども…

[dollarss]

これちゃんと再現するなら最低でも5.1だろか。完全再現なら9.1でも足りないレベルよな…

[gxg]

Logic Pro 使うだけでもIRリバーブや3Dパンニングで恩恵を受けている。理屈抜きで素人に使えるまでに先人の苦労があるのだなと。感謝。

[gnt]

ヤバいいきなり音の回折の話からだ / 音の響きで部屋の広さや壁の材質とか下手すると建物の構造自体が「わかってしまう」からゲームにはめちゃ大事と思いますよ。

[REV]

むかーっしから、元々耳は一対しかないので頑張って計算すればどんな乳母、じゃなくて音場でも再現できる筈と言われてるんだけど、小さなステレオスピーカー＋DSPっていうのはいまんとこどうもね…

[tick2tack]

ゲームでなぜレイトレーシングのように音をシミュレートしたりするのが難しいか。思ったより遥かに様々な要素が絡んでる。周波数の幅が広いってのはたしかに影響大きそう

[cruller]

メモ

[tomopo]

すげえ！そして3回以上の回折を計算する一般的な手法は有限要素法しかないらしいぜ！ホールのシミュレーションは竹中が昔やってたな。

[kometabakometsubu]

分かりやすいのに難しい、非常に良い

[ShoCoh]

リアルタイムにVRでバイノーラル収録ぽい音響を合成できないのかな、と思ってだけど結構大変そうだな…人間の頭周りだけなら頭部伝達関数でなんとかなるのかもだけども

[mugitora]

面白い

[pendamadura]

元々がソナーとかの技術じゃねーの

[puhu208n]

こんなん全部光学レイトレとほぼ同じプロセスで計算できるだろ。ただし、光学では30Hzでも許されるところ、オーディオはサンプルレートが44.1kHzあるのだ。なんと四桁も違う!

[zyzy]

レイトレというよりはGI周りの色んな技術の応用になりそう。疑似的なアンビエントオクルージョンみたいに、なんちゃって回析くらいから始めていけないだろうか？

[sucelie]

光みたいに速くないからめんどくさそうという印象

[o_mega]

反射と回折と固体伝播と透過がそれぞれ周波数帯で発生するし、光みたいに完全遮蔽がない！ぐわーッ

[otchy210]

これほどの複雑系を真面目にシミュレートするのは無理筋だとよく分かる。様々な状況で実際に録音した音源を機械学習して、任意の状況でそれっぽい音を再現させる、なら可能そう。

[gcyn]

これは音の動きが特殊というより、ここで挙がっているような違いに人間が敏感で、場合分けするだけの体験知があり、統合的な計算には物性の計算が必要で、光についてはそれと比較すれば大雑把って話なんでしょうね。

[field_combat]

音って絵ほど気になる人少ないから、すごく大変だけど、まじめにやると辛そう

[toaruR]

最低４チャンネルないと、出力できない気がする（´－｀）左右+上下+前後

[spark7]

バイノーラルマイクのハリボテとか意味あるんかなと思ってたけどありそうね。「耳穴からみて正面 (顔の真横) と比べて耳穴の真横 (顔の正面か背面) から聴こえる音は割としっかり減衰して聴こえる」

[rizmhate]

難しいということは理解した

[tach]

数式無しでここまできちんと説明してくれて有難いとしか言いようがない。ここまで説明されると今度は生身の人間の耳の凄さが逆照射されてきて、また色々な意味で凄いなあと感慨ひとしお。

[so-apps]

おもしろい。

[Windymelt]

めちゃ面白かった

[Rambutan]

光よりも環境に影響される要素がはるかに多いから難しいよね できるんだったら研究室レベルでとっくにやってる

[kuippa]

PLATONEって街中の音響反射や残響やってるチームがあったな。音だけじゃなくて実は電波も同じ特性もってて携帯基地局からLPWANまで周波数特性を変えるだけで同じモデルが使える。

[augsUK]

ゲームに取り込む以前の問題で、音のシミュレーションは光や電波よりずっと難しく現実での制御も大変で、そりゃ騒音問題が永遠の課題になってしまうよなと。

[TakamoriTarou]

どうやらCGや映像系の資料しか見てない感じかな。建築や自動車業界など工学系ではたくさん研究されていて、網羅的な資料たくさんあると思うけど。離散解法でもGPUの力を使ってリアルタイムに計算するものもありますが

[havanap]

飛行場とかの騒音解析では普通にラジオシティみたいなのでやられとるよ

[atsushieno]

音楽クラスタはおよそルームリバーブのFIR/IIRくらいしか意識しないので（言い過ぎ）、このへんは主に3Dゲームオーディオの文脈になるよな。特に生成系だと。