MusicLM
MusicLM: Generating Music From Text |paper|dataset| Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour, Christian Frank Google Research Abstract We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody bac
超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開
株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 2023年1月18日 株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 ※音声コーパス: 音声データとテキストデータを発話単位で対応付けて集めたもの。音声認識モデルを作成する材料として使用され、その規模と品質が音声認識の精度を大きく左右する。 ※2「ReazonSpeech」を用いた文字起こしサービスをプロジェクトwebサイトにて実際に試すことができます。 プロジェクトwebサイト：https://
VALL-E
Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers [Paper] Chengyi Wang*, Sanyuan Chen*, Yu Wu*, Ziqiang Zhang, Long Zhou, Shujie Liu, Zhuo Chen, Yanqing Liu, Huaming Wang, Jinyu Li, Lei He, Sheng Zhao, Furu Wei Microsoft Abstract. We introduce a language modeling approach for text to speech synthesis (TTS). Specifically, we train a neural codec language m
AI歌声合成？ボイチェン？Diff-SVCを徹底解説してみた！【やり方もあるよ】(2023-1-15訂正) - アマノケイのまったり技術解説
最近、Diff-SVCというのが海外でが流行り始めました。 AI音声合成だとも、AIボイチェンだとも、色んな言説が流布しておりますが一体「Diff-SVC」というのは何者でしょうか？ それでは早速ざっくり見てみましょう！ こんな風にDiff-SVCは「とある歌声」を「とある声質」へと高品質に変換できる技術です。 「Diff-SVC」とは？ Diff-SVCのやり方 ①準備 ②モデルの学習 Preparation Step 1: Install Diff-SVC(インストール) Step 2: Decompress dataset(データの解凍) Step 2-A: Decompress training data(学習データの解凍) Step 3: Edit training parameters(学習パラメータの編集) Step 4: Pre-processing Step 5-0 Te
ニューラルボコーダー論文25本ノック - Qiita
はじめに この数年で非常に多くのニューラルボコーダーが提案され、現在でもその流れは続いている。しかしニューラルボコーダーに関するまとまった情報は見かけない。この記事では自分の勉強用やニューラルボコーダーのこれまでの発展や課題を考える一助になればと思い、いくつかの論文をピックアップした。 ニューラルボコーダーはすでにメルスペクトログラム等からCPUで高速、高品質な合成が行えるようになったが、未だに「決定版」は現れていない。速度の改善がまだ続いているということもあるが、必ずしも手軽に試せる実装が公開されておらず比較実験が難しいことや、完全に想定する波形が定義されているわけではなく、音声の品質の客観的な評価が難しいことも一因であると思う。評価指標としてはMOS値が一般的に採用されるが、生成させる音声の性質（話し声か、歌声か、感情がついているか、広い音域や話者に対応するか等）も考慮すべきであり、目
音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと
「Unreal Engine (UE) Advent Calendar 2022 その3」23日目の記事です。 はじめに OpenAIの音声認識AI「Whisper」がすごいらしい。これをUnreal Engineでリアルタイムに動かせるようにしたら応用範囲が広がっておもしろいんじゃないかと思いました。 （「異議あり！」って実際に声に出させたいよね） （NLPアドベンチャーを音声入力で、みたいな夢も広がる） しかし、いざやってみたらいろいろな課題にぶつかりました。この記事は、それらをどう解決したかの記録です。 目次 目標設定：C++とONNX Runtimeで実装する Whisperの処理の全体感 課題と対応 課題1：マイク入力と前処理をC++で実装する 課題2：Whisperの機械学習モデルをONNXにエクスポートする 課題3：ONNXモデルをtransformer＆FP16向けに最適化
VoiceMeeter Banana備忘録
PCのスピーカー出力とライン入力しか使ってこなかった者にはハードルが高いつらい。「VoiceMeeter Banana」で検索して出てくる解説記事の方が圧倒的に充実してて間違いもなくわかりやすいと思います。この記事は自分用です。 VoiceMeeter Bananaとは PC上で動く仮想ミキサーです（寄付受付有）。PC内の音声（PC音、マイク音、音声出力デバイスを指定できるアプリケーション等）をまぜまぜ出来ます。 初期設定（Bananaを経由させてPC音をスピーカーに流す。ついでにマイクもBananaを経由させる） インストールするとサウンド設定の再生/録音タブに「VoiceMeeter (Aux) Input/Output」が追加されます。VoiceMeeter Inputを規定のデバイスにすると、PCから出る音をVoiceMeeterの仮想デバイスにPC音を流すことが出来ます。 変更後
WebRTC SFU Sora で Lyra コーデックを体験する
2021 年に Google が Lyra という低ビットレート音声コーデックを公開しました。 今までの音声コーデックとは異なり機械学習を利用した音声コーデックです。 残念ながら 2021 年の Lyra は速度や音質は実戦投入は難しいという感じでしたが、 2022 年に Lyra V2 として速度、音質が最適化されたバージョンが公開されました。 Lyra は機械学習を利用したコーデックで、 TensorFlow Lite を利用しています。このコーデックと機械学習の組み合わせは今後のデファクトスタンダードになっていくと考えています。 Lyra の簡単なまとめ ビットレートは 3.2 kbps / 6 kbps / 9.2 kbps で利用可能 Opus の場合音声通話用のビットレートは 24 ~ 32 kbps あたりを利用 Opus 自体は 7.1 ch とかにも対応しているので 51
文字を入力するだけで「萌え声」を簡単一発生成してくれる「Moe TTS」
萌(も)え声を出したくても出せない人でも簡単に簡単に萌え声を生成できる「Moe TTS」が公開されていたので利用してみました。Moe TTSは機械学習を用いて実際のゲームソフトの音声等を合成しており、機械学習でアプリケーションを開発するコミュニティ「Hugging Face」内で公開されています。 Moe TTS - a Hugging Face Space by skytnt https://huggingface.co/spaces/skytnt/moe-tts Moe TTSにアクセスするとこんな感じの画面が表示されます。 そのまま上にスクロールすると文字の入力ボックスが現れます。デフォルトで「こんにちは。」と入力されていたので、今回はこれに続けて「今日も寒いですね。」と入力。そして、「Generate」をクリックします。 すると、ページ下部に再生ボタンが現れます。そのまま再生ボタン
GitHub - ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++
Stable: v1.5.4 / Roadmap | F.A.Q. High-performance inference of OpenAI's Whisper automatic speech recognition (ASR) model: Plain C/C++ implementation without dependencies Apple Silicon first-class citizen - optimized via ARM NEON, Accelerate framework, Metal and Core ML AVX intrinsics support for x86 architectures VSX intrinsics support for POWER architectures Mixed F16 / F32 precision 4-bit and 5
声を“匿名化”するシステム「V-CLOAK」 人間っぽさを残した声に変換、声紋の個人情報漏えいを防ぐ
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国のZhejiang UniversityとWuhan Universityの研究チームが発表した論文「V-CLOAK: Intelligibility-, Naturalness- & Timbre-Preserving Real-Time Voice Anonymization」は、音声の明瞭性と自然性、音色を保持したまま、リアルタイムに音声を匿名化するシステムを提案した研究報告だ。機械的な声ではなく人間っぽさを残した声に変換し、声紋から個人が特定されることを防ぐ。 声紋は、個人を一意に特定できる重要なバイオメトリクスだ。一方でオンラインサービスによって膨大な音声データを収集・処理で
ソニーによる世界最高の音源分離技術で実現した、ボーカルだけをキレイに抽出できるSoundmain Studioの新機能｜DTMステーション
以前DTMステーションで紹介したことのある、ソニー・ミュージックエンタテインメントのプロジェクトSoundmain（サウンドメイン）。ここでは、ソニーグループが研究・開発する最新の音楽関連テクノロジーがいち早く機能として実装され、クリエイターが利用できるようになっているのですが、今回ボーカル抽出という新機能が追加されました。これは、ブラウザ上で使える音楽制作プラットフォームSoundmain内の音楽制作サービスSoundmain Studio上で使える機能で、音源からボーカルのみを抜き出し、手軽に高品質なボーカル音源を作成することができます。 つまり楽器などの演奏も消せるわけなのですが、驚くべきはその精度。ボーカル抽出といえば、さまざまなソフトで行うことが可能ですが、声がシュワシュワになってしまったり、オケが残ってしまったりすることがありますよね。それに対し、Soundmain Studi
世界初の｢軟骨｣伝導ヘッドホンが登場。ながら聞きを本気聞きする意気込みです
世界初の｢軟骨｣伝導ヘッドホンが登場。ながら聞きを本気聞きする意気込みです2022.10.09 20:3546,428 ヤマダユウス型 骨伝導もついに枝分かれしてきた。 オーディオテクニカから、世界初を謳うワイヤレス軟骨伝導ヘッドホン｢ATH-CC500BT｣が発表されました。｢骨｣伝導はわかるけど、｢軟骨｣伝導ってなんだろ？ 何が違うの？ 第3の音の伝わり方オーディオテクニカによると、そもそも音が伝わる道筋である聴覚経路には｢気導経路｣と｢骨導経路｣の2種類が考えられていたとのこと。前者は普通に音を聞く耳の穴、後者は骨伝導系のイヤホンですね。 ところが、2004年に｢軟骨伝導経路｣という第3の聴覚経路が発見されたそうな。研究がすすむと軟骨伝導経路は非常に効率よく音を伝えられることがわかったそうで、今回の｢ATH-CC500BT｣はこの軟骨伝導経路を利用したヘッドホンになるそうです。なんか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - enhuiz/vall-e: An unofficial PyTorch implementation of the audio LM VALL-E
Enhance Speech from Adobe | Free AI filter for cleaning up spoken audio
GitHub - zhaohui8969/VST_NetProcess-: async http process VST plugin
AIでボーカル・ドラムを取り出す、無料音声分離「Demucs」を試す【藤本健のDigital Audio Laboratory】
GitHub - LAION-AI/CLAP: Contrastive Language-Audio Pretraining
GitHub - CjangCjengh/MoeGoe: Executable file for VITS inference
GitHub - wenet-e2e/speech-synthesis-paper: List of speech synthesis papers.
