思い出した音を再現？！ 東京工業大学が音を脳波で再構築する方法を開発 | Webマガジン「AXIS」 | デザインのWebメディア

東京工業大学 科学技術創成研究院の吉村奈津江准教授（JSTさきがけ研究者兼務）、明石航大学院生（研究当時）、神原裕行助教、緒方洋輔特任助教（研究当時）、小池康晴教授、ルドビコ・ミナチ特定准教授は、頭皮で記録された脳波信号（EEG）から音声を直接再構築するために有望な手法を開発した。 同手法では、まず、参加者が2つの母音「ア」と「イ」を視聴後に思い出したときに記録されたEEGを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク（CNN）によって推定。 ▲EEGから推定した音源パラメータ波形と復元した音声の聞き取り精度を示した結果 （A）元の音源パラメータ波形（青）とEEGから推定した波形（赤）の比較（R2=1で、完全一致） （B）音を聞いた時のEEG（上）と、音を思い出した時のEEG（下）、でどの参加者も高いR2分布を示した。「ア」と「イ」の違いはR2が0.8を超えると80%以