WSLでMagentaを使ったピアノ耳コピの自動化 - Qiita
はじめに 耳コピがしたい！ でも 絶対音感なんてない！ そんなあなたに... Googleさんがピアノ演奏の音源(.wav)をMIDIファイル(.mid)に変換してくれるツールを用意してくれています。実際に使ってみて精度の高さに驚いたので紹介します。 Magentaって？ 作曲、音楽の解析、音楽制作の支援などを目的とした、Googleの機械学習プロジェクト Onsets and Frames モデル Magentaには複数のモデルが含まれている。 その中でもピアノ演奏の音源を解析し、MIDIに変換するモデル。 環境 MagentaのOnsets and Frames モデルはローカルで動かす他、Web版、Colab版が用意されています。以下にリンクを貼っておきます。 Web版 Colab版 自分の環境ではWeb版、Colab版が上手くいかなかったのでローカルで試すことにしました。 Micr
混ざった楽器の音を演奏者の動きで分離 米MITなど研究
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米マサチューセッツ工科大学（MIT）とMIT-IBM Watson AI Labの研究チームが開発した「Music Gesture for Visual Sound Separation」は、楽器を演奏する複数人の動きを深層学習で分析し、個々の楽器の音を分離する手法だ。ピアノ、フルート、トランペットなどの楽器を複数人で同時演奏した場合に、その映像から演奏者それぞれのメロディーを抜き出す。 映像解析ネットワークと視覚音声分離ネットワークの2つからなる「自己教師あり学習」を採用。映像解析ネットワークでは、人体のキーポイント18点、手のキーポイント21点を抽出。次に身体の動きと前後関係を統合し、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レーザー光で音を測る!? マイクを超える光学的音響計測の世界【藤本健のDigital Audio Laboratory】
無料 BGM・効果音のフリー音源素材 | Springin’ Sound Stock
