混ざった楽器の音を演奏者の動きで分離 米MITなど研究
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米マサチューセッツ工科大学（MIT）とMIT-IBM Watson AI Labの研究チームが開発した「Music Gesture for Visual Sound Separation」は、楽器を演奏する複数人の動きを深層学習で分析し、個々の楽器の音を分離する手法だ。ピアノ、フルート、トランペットなどの楽器を複数人で同時演奏した場合に、その映像から演奏者それぞれのメロディーを抜き出す。 映像解析ネットワークと視覚音声分離ネットワークの2つからなる「自己教師あり学習」を採用。映像解析ネットワークでは、人体のキーポイント18点、手のキーポイント21点を抽出。次に身体の動きと前後関係を統合し、
不要な音は消去して必要な音だけ聞ける“聴力自在化”技術 北大と神大が開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 北海道大学と神戸大学による研究チームが発表した「ウェアラブルコンピューティングにおける聴力自在化技術の提案」（PDFへのリンク）は、外界音を変換し、ユーザーが自在に自身の聴力を操作する技術だ。この技術を用いることで、外界音から聞きたい音だけを選択して聞くことができる。 人間の耳は、自らの意志では制御することが難しく、聞く音の取捨選択ができない。その上、超音波などの人間には聞こえない音も取得することができない。 研究チームは、マイクとスピーカーを搭載したイヤフォン型ウェアラブルデバイス（マイク付きワイヤレスイヤフォン）での利用を想定し、外界音から聞きたい音だけを聞ける技術でこの課題に挑戦する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
