「音源分離」の最新手法を解説した、中級者以上向けの実践的な技術書『Pythonで学ぶ音源分離』を8月24日に発売 インプレスグループでIT関連メディア事業を展開する株式会社インプレス（本社：東京都千代田区、代表取締役社長：小川 亨）は、「音源分離」技術の基礎から実装までを解説した書籍『Pythonで学ぶ音源分離 機械学習実践シリーズ』を2020年8月24日（月）に発売いたします。 ■身近なものにも活用される技術「音源分離」の基礎と実装を解説する一冊 近年、AIスピーカをはじめとした、人が話した音声を理解する音声認識システムがさまざまな場面で使われています。一般的に音声認識システムは、1人の声を聞き取ることを想定しており、聞きたい声以外の音が入ってきたときには、聞きたい声を正確に聞き取ることが難しくなります。「音源分離」とはこのようにさまざまな音が混ざった中から、欲しい音だけを抽出する技術で
Spotifyが無料で音声ファイルからMIDIへ変換できるAI搭載ツール「Basic Pitch」を公開
Spotifyが無料で使えるオープンソースのAI搭載ツール「Basic Pitch」を公開しています。 Basic Pitchは、SpotifyのAudio Intelligence LabとSpotify傘下のSoundtrapが共同で開発したオーディオをMIDIに変換してくれるツール。ユーザーが楽器や声といったオーディオファイルをBasic Pitchのサイト上にアップロードすると、そのオーディオファイルをAIに搭載された機械学習モデルが分析。MIDIファイルとして書き出してくれます。 例えば、ユーザーがギターのメロディーフレーズの音源をBasic Pitchにアップロードすると、Basic Pitchは、その音源を分析し、アップロードされたギターのメロディーフレーズをMIDIに変換。ユーザーはそのMIDIファイルを自由にDAWに取り込み、シンセなど別の音源に割り当てて再生することがで
ソニー開発のディープラーニングによる世界最高の音源分離技術を利用できる、音楽制作サービス、Soundmain｜DTMステーション
ソニー・ミュージックエンタテインメント（以下SME）によるSoundmain（サウンドメイン）というプロジェクトをご存知でしょうか？ ソニーが研究・開発する最新の音楽関連テクノロジーをいち早く機能として実装し、クリエイターが利用できるようにするプラットフォームとなっており、将来的にはブロックチェーン技術と権利処理のノウハウを組み合わせたサービスや、後述の音楽制作サービスにAIを用いた機能の実装が予定されるなど、これからも進化を続けていくユニークなプロジェクトとなっています。そして、その中にSoundmain Studioというサービスがあり、これはブラウザ上で使える音楽制作ツール、つまりインストールすることなく使えるDAWとなっています。 そのSoundmain Studioにおいて、現在の目玉となる機能が、ソニーが開発した世界最高峰という音源分離技術。簡単にいうと、これは2mixの音源を
音源分離ツールSpleeterと音源MIDI変換ツールBasic-PitchをM1 MacBook Air上のDockerで動作させる
はじめに 楽曲をアナライズしたいとき、ボーカルの旋律とか、伴奏の最低•最高音は聴音しやすいものです。 ですが、、たとえばテンションを含む密集した和音のボイシングまで分解するのは、途方もなくしんどいです。もちろん訓練された能力と、それなりの時間も必要になります。 手元に楽器がない環境の人にとっては、なおさら難しいことです。 そこで補助的に機械学習ライブラリの力を借りて、能力や時間がない人でも、より良い音楽学習ができるようにすることは、音楽の文化に良い影響があると思います。 SpleeterとBasic-Pitchという二つの最高なライブラリが提供するコマンドラインツールを使うことで、音源をパート別に分離して、それぞれのパートをMIDIノートとして出力することができます。 それによって、リファレンス楽曲の分析自体に時間をかけることなく、本当の目的である解析、そして解析した後にどう昇華させるか考
ソニーによる世界最高の音源分離技術で実現した、ボーカルだけをキレイに抽出できるSoundmain Studioの新機能｜DTMステーション
以前DTMステーションで紹介したことのある、ソニー・ミュージックエンタテインメントのプロジェクトSoundmain（サウンドメイン）。ここでは、ソニーグループが研究・開発する最新の音楽関連テクノロジーがいち早く機能として実装され、クリエイターが利用できるようになっているのですが、今回ボーカル抽出という新機能が追加されました。これは、ブラウザ上で使える音楽制作プラットフォームSoundmain内の音楽制作サービスSoundmain Studio上で使える機能で、音源からボーカルのみを抜き出し、手軽に高品質なボーカル音源を作成することができます。 つまり楽器などの演奏も消せるわけなのですが、驚くべきはその精度。ボーカル抽出といえば、さまざまなソフトで行うことが可能ですが、声がシュワシュワになってしまったり、オケが残ってしまったりすることがありますよね。それに対し、Soundmain Studi
全てAIで生成した架空アルバムのバンドに架空ライターがインタビューした結果、新曲が生まれた。Suno AIがおもしろすぎる（CloseBox） | テクノエッジ TechnoEdge
そこで調子に乗って、このアルバムリリース直後に、バンドメンバーに日本の音楽誌がインタビューしたという想定で、ChatGPTに受け答えしてもらいました。その結果がこちら。 The Midnight Odyssey - 「The Odyssey of Echoes」リリース直後のインタビューインタビュアー: 鷹野隼人（Cosmic Prog Chronicles） ――まずは、素晴らしいアルバム「The Odyssey of Echoes」のリリースおめでとうございます。このアルバムを通じて表現したかった主なテーマは何ですか？ ジェイク・ハーパー (リードボーカル & ギター)ありがとうございます。このアルバムでは、時間と空間を超えた旅、そして内面の探求をテーマにしています。私たちは、聴き手に音楽を通じて冒険を体験してもらいたいと考えています。 アルバム「The Odyssey of Echo
何をした？ Youtube上に公開されている動画の音声から、ディープラーニング技術を用いた音声合成ツールを構築しました。 今回対象にしたのは、バーチャルユーチューバー・にじさんじの委員長こと 月ノ美兎 さん（Youtubeチャンネル） です。 ※選出理由は、単純に私がYoutube上で一番推している方だからです。 成果 動画から抽出した音声と、音声を文章に起こしたテキストの組み合わせのデータセット約50分ぶんを教師データとして学習した結果 ※学習に必要なデータ量は最低でも1時間程度と言われているので、まだまだ足りていません… 月ノ美兎さんの音声合成ツールを作ってみた https://t.co/YVdWW9vREb via @YouTube — K2 (@K2ML2) May 29, 2020 発話内容が不明瞭な箇所がありますが、一応ご本人の声に近い音声を作成することができているかと思います
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
AIでボーカル・ドラムを取り出す、無料音声分離「Demucs」を試す（Impress Watch） - Yahoo!ニュース
ステレオミックスされたオーディオからボーカルを抽出したり、ベースを抽出するなど、任意の音を取り出したり消すということは、昔からいろいろな人がさまざまな方法でトライしてきた、ある意味、夢のテクニックだ。それが近年、AIを用いた手法により、ほぼ完ぺきな形で実現できるようになってきており、さまざまな企業が製品化を行っている。 【この記事に関する別の画像を見る】 そうした中、オープンソースのフリーウェアでもかなり優秀なものが登場している。「Demucs」というソフトがそれだ。以前からPythonで実行するタイプのものは出ていたようだが、現在はWindowsやMacで普通に起動できるソフトも登場しており、誰でも手軽に使えるようになっている。実際試してみたので、どんなものなのか紹介してみたい。 ■ AI技術の進化で、大きく変わった夢の“音声分離” “ステレオにミックスされた音からボーカルを消してカラオ
ウェブブラウザで音楽制作！ 手持ちの音源からステム作成できる「音源分離」も――Soundmain Studioレビュー
ウェブブラウザで音楽制作！ 手持ちの音源からステム作成できる「音源分離」も――Soundmain Studioレビュー DTM コラム 最新テック 機材 Soundmainはソニーミュージックによる、【サウンドパック（音源素材）】【ウェブブラウザで動くDAW】【ブロックチェーンを用いた著作権処理の仕組み】を一括して提供することを目指し開発中のプラットフォームです。このうち【ウェブブラウザで動くDAW】が先日ついに「Soundmain Studio」としてローンチしました。現在も改良を重ねている最中ですが、「ウェブブラウザでDAWの基本的な機能が使える」「ソニーの目玉技術である“音源分離”が使える」というコアの部分については体験いただけるようになりました。 【PR】AIの進化を作曲しながら体験できるSoundmain Studio。ブラウザで手軽に使える音楽制作ツールが、今ならお得に試せるキ
新DTM時代が爆誕！ AIにテキストで指示して作曲できる音楽アプリ｢WavTool｣が公開2023.04.06 11:0037,621 Jun Fukunaga AIとの新DTM時代の到来かも。 昨年以来、｢Dalle-2｣や｢Midjourney｣、｢Stable Diffusion｣といった画像生成AIやAIチャットボットのChatGPTといったAIツールが注目を集めていますが、今年に入り、いよいよ音楽の分野でもこの手のAIツールが普及して行くことになりそうです。 その可能性を強く感じたのが、最近公開されたブラウザベースで使用できるAI音楽制作アプリ｢WavTool｣です。 音楽制作の分野ではこれまでにもマスタリングやサンプル管理、コード進行/メロディ生成、音源分離、音声合成などでAIを搭載したツールはありました。しかし、ChatGPTにも搭載されているOpenAIの大規模言語モデル｢
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Developer Relationsチームの三木です。 11月20日から21日にかけて、LINEのエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」を開催しました。社内外のエンジニアの皆様3,000名以上にご来場いただく大盛況なイベントとなりました。ご来場いただいた皆様、登壇いただいたゲストの皆様、運営に携わっていただいた皆様、誠にありがとうございました！ 今年のLINE DEVELOPER DAYは、より深く幅広い分野に関連した内容を提供するために、二日間の構成としました。全部で68個のメイントーク、42個のショートトラック、9個のポスターセッション、６個のハンズオンセッション、19個のブー
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい？ （この記事では音声資源コンソーシアムのコーパスは未掲載） Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス
AIで作曲して演奏・歌唱してくれる「Suno」、MIDIで吐いてくれPleaseとお嘆きの方に。無料のもあるよ（CloseBox） | テクノエッジ TechnoEdge
歌詞を与えれば作曲・演奏・歌唱と残りの全てをやってくれるAI作曲完パケサービス「Suno」。音楽制作界隈では「MIDIで吐いてくれ」との声が多く上がっています。 いい感じの音楽が出るまでガチャを引けばいいのですが、Sunoを効率化のために使いたい、アイデア出しのために利用したいんだけど、出力された音楽をいちいち手弾きで入力するのもだるい、という話です。 今回はこの解決策をご紹介しようと思います。詳しい人ならご承知のことと思いますが、改めて。 以前のコラムで紹介したように、例えばLogic ProのFlexPitchのようなピッチエディターを使えば、単音のオーディオファイルからMIDIデータを取り出すことは可能です。 実際、筆者はUVR5という音源分離ツールを使って取り出したBassトラックをFlexPitchによってピアノロール表示し、それを改めてMIDIデータとして打ち込むというのをやっ
｢街をハックする｣真鍋大度が、スクエアプッシャーのMVを監督した理由と、その技術2020.03.03 18:0014,046 照沼健太 渋谷が分裂。そんな未来がやって来そう。 ｢2〜3年後の都市はどんな姿になるのか？｣そんなごく近い未来を予想した、スクエアプッシャー5年ぶりのアルバム『BE UP A HELLO』のリード曲｢TERMINAL SLAM｣のMVが話題です（"Behind The Scene" 特設サイト）。 Squarepusher/YouTubeその内容は、渋谷のスクランブル交差点で、とある女性がMR（複合現実）グラスをかけると、見慣れた街の様子が一変。街を構成する広告や人物にグリッチノイズがかかり、姿を変え、次第に街頭広告がスクエアプッシャーにジャックされていく…というもの。 この映像が見せる新しい都市の姿は、明るい未来なのか、それともディストピアなのか。テクノロジーと都
生成AI「Suno」が作った楽曲は再利用できる？ 分解して想像した、「Suno以降」の音楽制作と音楽体験（CloseBox） | テクノエッジ TechnoEdge
脅威に感じたり、まだまだ不足している部分を指摘する一方で、「こういう使い方なら効率がすごく上がる」といったポジティブなアイデアが次々と生まれていて、さすがシンセサイザー、サンプリング、物理モデリング、ループベース制作、VOCALOIDといった破壊的技術をいくつもくぐりぬけてきただけのことはあります。 前回はSunoが作ったものをそのまま公開したのですが、全体的な完成度は相当に高いとはいえ、不満なポイントはいくつかあります。 ・ボーカルと伴奏が合っていない部分がある ・節回しで不自然なところがある ・全体的に音質が良くない ・無理やり展開しているところがある ・エンディングまで到達しておらず尻切れトンボ でも、楽曲としては非常に気に入っているので、部分的に直すことができればベスト。じゃあこれをベースに作り直してみようと考えたのです。最小限のアレンジを施した「歌ってみた」。これが目標です。 今
ビートルズ最後の新曲「Now And Then」はどのように現代に復活したか。公式ドキュメンタリーで分かったAIの貢献（CloseBox） | テクノエッジ TechnoEdge
バンドとしてレコードデビューを果たしたのが1962年。解散を発表したのが1970年。その間にポピュラーミュージックを決定的に変えたロックグループ、ザ・ビートルズ。彼らの音楽が解散して半世紀以上経つのにいまだに世の中に受け入れられ、聴かれている理由は何か、と問われれば、音楽自体の素晴らしさもありますが、「その時代の最先端の技術を以て作り直しているから」だと考えます。 そんなビートルズの「新曲」の制作ドキュメンタリーが11月2日早朝に公開されました。4分8秒のフル楽曲は午後11時に聞けるようになっています。ここでは、その制作過程でどんなことが行われていたのかをまとめてみようと思います。 ビートルズはレコーディング技術の最先端を行っていました。潤沢な資金と、ツアーをやめたことによる時間、レコーディング知識に長けたプロデューサー（ジョージ・マーティン）、ビートル達が要求するサウンドを新しいアイデア
魔法のオーディオ・エディタ、Hit’n’Mix Infinityが名前も新たに全面リニューアル。RipX DeepAudioとDeepRemixがDTMの常識を変える｜DTMステーション
昨春、彗星のように登場し、世間を驚かせたまったく新たなオーディオ・エディタ、Hit’n’Mix Infinity（ヒットゥ’ン’ミックス・インフィニティ）。CDなど、ステレオ2chにミックスされたオーディオを読み込ませると、ボーカル、ピアノ、ギター、ベース、ドラム……というように各パートごとに分解されるとともに、それがMIDIのようにピアノロールで表示され、そのままエディットもできてしまうという、にわかには信じられない魔法のようなことをAIによって実現したことで、音楽制作の世界に衝撃を与えました。 それから1年。Hit’n’Mix InfinityはRipX DeepAudio（税込み実売価格39,600円）と名前を変えるとともに、性能を大幅に向上させる形で生まれ変わりました。もちろん既存ユーザーは、そのまま無償でバージョンアップすることができ、より高速に、高音質に処理できるようになってい
Apple Musicの曲を使ってDJができるようになりました2024.02.02 20:3025,660 Jun Fukunaga まさかのアップデート、キターー！！ Algoriddimの人気DJアプリ｢djay｣でApple Musicの楽曲を使用できるようになりました。 また2月2日にアメリカで発売になったばかりの空間コンピューティングデバイス｢Vision Pro｣にも対応するとのことです。 1億曲以上の楽曲をDJで使用できる最新版の｢djay 5.1｣では、Apple Musicとのシームレスな統合により、なんと同プラットフォーム内にある1億曲以上の楽曲を使ってDJができるようになります。 これまでもdjayはBeatportやBeatsourceといった日本でも利用できるDJ向け音楽ストリーミングサービスのほか、TIDALやSoundCloud Go+との統合により、ストリー
2019年7月5日、LINE株式会社が主催するAI技術者向けの勉強会「LINE AI Talk #02」が開催されました。第2回となる今回のテーマは「信号処理」。AI関連技術を活用したさまざまなサービスを開発しているLINEの取り組みだけでなく、この分野の第一人者をゲストスピーカーに招き、最新の知見を学びます。プレゼンテーション「深層学習を用いた複数マイクロホンの音源分離」に登壇したのは、LINE株式会社Research Labsに所属し、工学博士でもある戸上真人氏。深層学習を用いた音源分離の取り組みと、その仕組みを解説します。講演資料はこちら 深層学習を用いた複数マイクロホンの音源分離 戸上真人氏（以下、戸上）：それではLINEから、音の技術の研究と、この分野の動向についてお話したいと思います。 簡単に自己紹介ですが、私はLINEのResearch Labsに2018年の6月から研究員と
グーグルの研究部門Google Researchは1月30日、フランスの研究機関IRCAM（Institut de Recherche et Coordination Acoustique/Musique）と共同で、入力された歌声にあわせた伴奏を生成するAIモデル「SingSong」を発表した。 Excited to share SingSong, a system which can generate instrumental accompaniments to pair with input vocals! 📄https://t.co/1mRUaXvqVy 🔊https://t.co/8RGezPu5YQ Work co-led by myself, @antoine_caillon, and @ada_rob as part of @GoogleMagenta and the b
AIがもたらす音楽の未来は？ ザ・ビートルズ『Revolver』を生まれ変わらせた音源分離技術から考える | CINRA
AIがもたらす音楽の未来は？ ザ・ビートルズ『Revolver』を生まれ変わらせた音源分離技術から考える 音楽にAIが活用されるーーそう聞いたとき、どんなことをイメージするだろうか？ タイムラインにあふれる画像生成AIによるイラストのように、自動作曲AIが手がけた楽曲がSNS、あるいはYouTubeにあふれかえった光景だろうか？ AIが人間に取って代わる、なんてことも言われたりするが、人間が対応できないような作業を任せるツール、あるいはアシスタントとして、AIや機械学習の技術は日常生活や仕事におけるさまざまなシーンに浸透しつつある。それは広く音楽制作の現場においても同様で、先日発表されたThe Beatles『Revolver』のスペシャルエディションにはAIによる音源分離（デミックス）技術が活用されているという。 AIは音楽の未来に何をもたらすか？ 直近の事例や研究をもとに、ライターのi
4人のLINE AIイノベーターたち 栄藤稔氏（以下、栄藤）：「LINEのAIが実現するイノベーション」というパネルディスカッションを今から行いたいと思います。私はモデレータを務める栄藤と申します。まず簡単にこの4人の自己紹介をしたいと思います。 まず私です。栄藤と申します。本業は大阪大学の教員をやっています。東京に住んでいて、時々大阪で講義をやったりしています。もともとは画像認識が専門で、最近は自然言語処理の産業応用、機械翻訳とかをやっていました。私は本当に、今研究と事業の境目がどんどんなくなってきているこの業界を、非常にワクワクして眺めています。今日のパネルディスカッションをぜひ楽しんでいただければと思います。では、次のパネリストにいきますね。戸上さんお願いします。 戸上真人氏（以下、戸上）：みなさんこんにちは、戸上と申します。LINEのAI開発室の責任者、AI開発の責任者をしています
はじめに Deep Learningの世界，とりわけGenerative Adversarial Networks(GAN)は近年，飛躍的に成長しており，Text-to-Imageや声質変換，音源分離など様々な分野で研究が進んでいると思います． 今回のお話は，その中でも音声から顔画像を生成するwav2pixについて，ゆるく書いていきます． Paper: WAV2PIX: SPEECH-CONDITIONED FACE GENERATION USING GENERATIVEADVERSARIAL NETWORKS ざっくり概要 https://imatge-upc.github.io/wav2pix/ 提案されているモデルは以下3つのモジュールから構成されています． Speech Encoder Generator Network Discriminator Network それぞれのモジュ
日本の大学からアメリカのbig techでresearch scientistになるまで｜Hirofumi Inaguma
はじめにMetaのFundamental AI Research (FAIR)という研究グループの音声翻訳チームでresearch scientistをしています．今回，京都大学で学士・修士・博士を取得した後，Metaでポジションを獲得した経緯について書きます．日本の大学に在籍しており，私と同じようなキャリアを目指している方や，これから目指そうとされている方の参考に少しでもなれば幸いです．本記事では，どのようにインタビュー対策すれば良いかではなく，どうすれば日本の大学からアメリカのbig techのポジションのインタビューのチャンスに辿り着けるのかに焦点を当てたいと思います． 研究が好きで博士課程に進学したものの，進学当時はいつかアメリカで就職できたらいいな，博士課程の間にアメリカでインターンシップを経験できたら嬉しいな，くらいの感覚でした．どうしてアメリカで働きたいと思ったかというと，議
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
AI作曲でマルチモーダル活用。Suno + ChatGPT + Stable Diffusionを連携させたらエモくなった（CloseBox） | テクノエッジ TechnoEdge
まず、妻の写真を学習したStable Diffusionから、絵を生成します。プロンプトは、「a photographic portrait of Torichan girl looking up at starry sky」とかなんとか。 これを、マルチモーダル化したChatGPT（GPT-4V）に読み込ませ、「この写真を見て思いついた歌詞を書いてみて」と頼みました。 作詞してくれたのは、これ。そうか君は宇宙と書いて「そら」と読む派閥か（「うみ」ではなく）。 星埋める夜に願いを込めて 手を伸ばし掴む、遠い光 夢の続きを、この手で描こう 無限の宇宙（そら）、私だけの物語 次にこの歌詞を元に、 Sunoでさまざまなスタイルの曲を作ってもらいました。 出来上がったのは、どれも女性ボーカルの曲。16回生成し、それぞれ2曲ずつ作ってくれたので、合計32曲の中から一番良かったものをピックアップ。歌詞
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。 SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し
AIとともに作曲する時代に突入！SMEが展開するブラウザ上の音楽制作サービス、Soundmain StudioにAI作曲アシスト機能が搭載｜DTMステーション
ソニー・ミュージックエンタテインメント（以下SME）がWeb上で展開しているユニークなプロジェクト、Soundmain（サウンドメイン）の中心的サービス、Soundmain Studio。これまでも世界最高レベルの音源分離技術や、AIを用いた最新の歌声合成技術を利用することができた同サービスに、新しく「AI作曲アシスト機能」が搭載されました。現在はβ版としてテスト公開されています。 Soundmain Studioは、ブラウザ上で使えるDAWなのですが、ここにAIが提案したメロディをクリエイターが選ぶことで、自分にはない発想を作曲に取り入れることができる……極端にいえば音楽の知識がない人でも作曲を可能にしてくれる、夢のような機能が追加されたのです。実際に試したところ、かなり簡単に実用レベルのメロディを生成してくれたので、使い方とともに、その実力を紹介していきましょう。 音楽の知識がない人で
東京における音声・音響・信号処理に関するエンジニア・研究者のためのミートアップ「Tokyo BISH Bash」。第3回は、世界中で音響に関する普及・啓蒙を目的として国際音響学会が提唱するイベント「International Year of Sound 2020（IYS2020）」と協力し、日本音響学会電気音響研究会との共催で開催されました。 そこでLINEのSpeech Teamにいる木田祐介氏が、LINEで開発されている音声認識のプロダクトについてそのしくみとプロダクト化への歩みについて紹介しました。後半はEnd-to-End音声認識をプロダクト化するにあたっての課題について。関連資料はこちら。 応答速度が遅い理由 次にプロダクト化に向けての課題と取り組みについて話します。こちらは、僕が考えるプロダクト化の阻害要因を挙げています。1つが応答速度が遅い、1つが演算量が多い、1つはカスタマ
ひとつの音源をボーカルやベースといったパート別に分解する「音源分離技術」が、一般ユーザー向けにも提供されるようになった。この技術は人工知能（AI）の訓練やアーティストによる楽曲制作に応用される一方で、著作権侵害のリスクなどさまざまな問題もはらんでいる。 TEXT BY NOAH YOO TRANSLATION BY MASUMI HODGSON/TRANNET 楽曲のなかで楽器やボーカルといったあらゆるパートが何をしているのか、詳細まで分解して聴けることを想像してみてほしい。楽曲のファイルをアップロードすると、ほんの数分でブルース・スプリングスティーンの「Born to Run（明日なき暴走）」といった曲がパートごとに分解されるのだ。 すると、それぞれのプレイヤーの腕前がはっきりと浮き彫りになってくる。スプリングスティーンのボーカルパートでは、つぶやきやうめき声が聞こえてくる。ゲイリー・タ
最先端AI音声処理技術をふんだんに盛り込んだSteinberg SpectraLayers Pro 10がSOUND FORGE Pro 17 Suiteのオマケとして手に入る｜DTMステーション
SOUND FORGE Pro 17 Suiteのバンドル内容が変更に Windows用の定番のオーディオ波形編集ソフトであるSOUND FORGE。私自身も長年愛用している非常に便利なソフトであり、その最新版であるSOUND FORGE Pro 17およびSOUND FORGE Pro 17 Suiteが発売されたのは約1年前。DTMステーションでも以前「音を視覚的に操作できるSteinbergの魔法のソフト、SpectraLayers Pro 9が同梱！波形編集ソフトの定番の新バージョンSOUND FORGE 17誕生」という記事で紹介したことがありました。 この記事にもあったとおり、SOUND FORGE 17は の3つのラインナップがあります。エントリー版で5,980円という低価格なSOUND FORGE Audio Studioでも384kHz/32bit Floatに対応してい
すでにご存じの方もいると思いますが、3月26日、AKAI ProfessionalがMPC Stemsなるアドオンソフトを1,725円(税込みダウンロード価格)でリリースし、世界中に衝撃が走っています。これはMPCでサンプリング素材を取り込んだ際にサウンドをステムに分解してくれるというシステムで、具体的にはドラム、ベース、ボーカル、その他の4つにキレイに分離してくれるというもの。たとえばある楽曲のキックだけを切り出したいとか、ボーカルのこの一部を切り出したいといったことが簡単にできてしまうというシステムなのです。 AKAI自身もMPC Stemsについて「歴史的MPCイノベーション」と表現していますが、まさに35年以上のMPCの歴史の中で、これまで到達できなかった夢のような制作環境を実現できる画期的なツールだと位置付けているのです。このMPC StemsはMPC Live、MPC Live
Facebook、「Minecraft」内でAIアシスタントを実装できる「CraftAssist」を公開
Facebookは2019年7月18日（米国時間）、「Minecraft」内で人間のプレイヤーと協力して動くAIアシスタントを実装するためのオープンソースプラットフォーム「CraftAssist」を公開した。Minecraftは、広大な世界でブロックを置いて冒険を続けるサンドボックスゲーム。 CraftAssistで実装されるAIアシスタントは、人間のプレイヤーとテキストベースのチャットでコミュニケーションを取りながらブロックを置いたり壊したり、モブ（動物などのキャラクター）を生み出したりできる。このAIアシスタントは言語や知覚、記憶、物理的アクションを組み合わせて、家造りのような複雑なタスクを実行できる。 Facebookは次のような目的を持ってAIアシスタントと実装プラットフォームを開発した。会話で指定されたタスクを完了でき、最終的には会話のやりとりから学習できるエージェントの研究を支
AIアシスト楽曲制作ツールFlow Machinesにオーディオ書き出し機能搭載。Soundmain Studioで使ってみると面白い！｜DTMステーション
以前にも何度か紹介したことのある、ソニーコンピュータサイエンス研究所（以下ソニーCSL）が開発するAIアシスト楽曲制作ツール、Flow Machines。当初はiPad版のみでしたが、Mac版もリリースされ、その後も少しずつアップデートを繰り返しています。そのFlow Machinesの12月のアップデートで、AIが生成したメロディーの書き出し方法としてMIDIに加えてオーディオが選択できるようになりました。 そこで先日、ソニー・ミュージックエンタテインメント（SME）の提供するブラウザで動作するDAW、Soundmain Studioを使って、書き出したメロディーを作曲に取り入れてみました。とくにアナウンスはなかったものの、Flow Machinesで選択できるメロディーのスタイル「StylePalette」と、Soundmain Studioから購入できる音源素材集である「SoundP
MAIL MAGAZINE下記からメールアドレスを登録すると、FUZEが配信する最新情報が載ったメールマガジンを受け取ることができます。 利用規約、プライバシーポリシーに同意します。 登録する 昨年、画像の分野では｢Midjourney｣や｢Stable Diffusion｣といった“ユーザーが入力したテキストに応じて、AIが画像を生成する画像生成AI”が注目を集めたが、今年は音楽シーンでも生成AIに大きな注目が集まった。 2023年に音楽シーンで起きたAIに関する大きな動きその中で今年大きな注目を集めた生成AIの話題のひとつといえば、AIによる実在するアーティストの音声を使ったAI音声カバーだろう。 今年1月、David Guettaは、AIが生成したEminemの音声を使った未発表曲｢Emin-AI-em｣を公開。賛否両論の大きな反響を得た。 Photo: Shutterstock.c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「音源分離」の最新手法を解説した、中級者以上向けの実践的な技術書『Pythonで学ぶ音源分離』を8月24日に発売
月ノ美兎さんの音声合成ツール(Text To Speech) を作ってみた - Qiita
新DTM時代が爆誕！ AIにテキストで指示して作曲できる音楽アプリ｢WavTool｣が公開
LINE DEVELOPER DAY 2019 を開催しました
無償入手可能な音声コーパス／音声データベースの一覧 - Qiita
｢街をハックする｣真鍋大度が、スクエアプッシャーのMVを監督した理由と、その技術
Apple Musicの曲を使ってDJができるようになりました
深層学習を用いて音源を分離する––LINE Research Labsが研究成果を解説
グーグル、歌声から伴奏を生成するAI「SingSong」を公開
「テキストの自動生成」で広がる超巨大言語モデルの可能性 LINEのAIが実現するイノベーション
音声から顔画像を生成するwav2pixを実行してみる（アニメ顔生成もあるよ） - Qiita
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
「Suno超えた？」と噂の、リアルな歌声でAI作曲して音源分離もできる「Sonauto」を試してみた（CloseBox） | テクノエッジ TechnoEdge
歌声から伴奏を生成するAI「SingSong」 Googleが技術開発
「応答速度」「演算量の多さ」「カスタマイズの難しさ」 End-to-End音声認識のプロダクト化でハードルになる3つの課題
楽曲をパートごとに分解する「音源分離技術」はクリエイターの夢か、著作権の悪夢か（1/4ページ）
AIがサンプリングの常識を根底から覆す。AKAI MPC Stemsの破壊力｜DTMステーション
音楽シーンに台頭する生成AIから新たな音楽表現は生まれるか？ 2023年の動向から考える