3kbpsという低いビットレートでも高音質を実現するコーデック「Lyra」をGoogleが開発

2021年2月25日、Googleが3kbpsという低いビットレートでも、元音声と遜色ないほどの音質を維持できるコーデック「Lyra」を開発したと発表しました。 Google AI Blog: Lyra: A New Very Low-Bitrate Codec for Speech Compression https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html ほとんどのコーデックでは音声信号をサンプルごとに圧縮して送信することで高音質を実現するモデルを使用していますが、このモデルでは低いビットレートで元の音質を再現することができません。しかしGoogleが新しく開発したモデルは、最小限のデータを使用して音声を再生成できるようになっているとのこと。 低いビットレートでも元の音質を再現できるのは、

[hirolog634]

説明が悪い。重要なキーワードは「音声を再生成」。つまり元データを圧縮するのではなく、素材に分割し、再生側で再合成するイメージに近い。以前の携帯電話はこの仕組みだったので、どの人の声も似て聞こえる。

[medihen]

高音質という見出しだが、音楽用ではなく音声用（ビデオ会議などの）らしい。

[mohno]

いっそ、音声認識でテキスト化して、ふたたび音声合成すれば相当“圧縮”できるんじゃないだろうか。

[khtokage]

音声専用のcodecは常に進化してるよね。ビデオ会議のビデオ部分もいっそ表情ベクトルだけ送って各自でアバターに割り当てる形にして欲しい（グリーンバックとかめどいし、おっさんよりVなアバターのがいいｗ

[y_hirano]

よく分かってないけど、人間の発話の特性と聴覚反応の特徴を鑑みつつ、生成モデルを機械学習で作ったということなのかな。

[TakamoriTarou]

問題はライセンスとパテントだけども…

[eru01]

googleの記事はちゃんと会話限定のタイトルになってんじゃん。そこタイトルから抜いたらあかんやろ。さすがgigazineやわ

[kotetsu306]

画像の超解像技術で、ピクセル数が少ない画像からAIが「イイ感じの嘘」で高解像度画像を作るみたいなものだろうか。元の情報を再現するんじゃなくて、それらしく聞こえたらOKと

[fashi]

そのうち音声認識してボカロやMIDIのようなテキスト+抑揚ピッチアクセント音域情報を送信先で合成とかになりそう

[napsucks]

超低ビットレートだとOpusよりAMR-NBのほうが性能が良いよね。https://www.kyastem.co.jp/technical/explanation-codec/viewing/ でも3kbpsでこの音質は素晴らしい。

[Katame]

Pickしました

[muchonov]

過去コピー機でデータ圧縮率を高めたら数字が変わっちゃうという大問題が発生したことがあったけど https://ggsoku.com/2013/08/xerox-copy-issue/ これもAI的補完で発話が違う意味に置き換えられるリスクが微妙にありそうな

[silverscythe]

サンプルからしてwmaみたいなノイズがちょっとキツイ

[mitswku]

“「Stadiaの開発部門閉鎖により小島秀夫監督の新作ゲームを含む数十のプロジェクトが中断された」という報道”

[chikoshoot]

そういうやり方もあるのか

[aox]

話し声だけなら電話で良いのでは

[Hiro0138]

VoIPだと昔から数kbpsの音声コーデックは良く使う

[NOV1975]

コーデックって扱いでいいのこれ？専用ゆっくり生成ツールみたいなものでは？

[waot209]

これに音楽流したらボーカルだけになるのかな

[spark7]

ネットの帯域は太くなる一方だろうし富豪的でも良いと思うけど/ こういうやつか https://time-space.kddi.com/feature/tsushin-chikara-sp/20160412/

[kujoo]

ADPCM?

[dalmacija]

再生側の生成モデルにバイアス掛けてジャンル別に入口を分けるとか考えるとmidiとか音源とかとの境界に近付きそう

[leiqunni]

人の音声の会話に特化してる希ガス。

[Helfard]

すげー。

[blueboy]

発話者が同じなら、声質には癖がある。だから最初の方の特性を学習するだけで、あとの音質は予測できる。文字テキストだけからも音声を生成できるはず。それを原理とすれば、大幅に情報量を削減できる。

[kuro_toascl]

vaporwaveを流したら高音質になるのか、という話ではなさそう

[nakayuki805]

これとAV1が普及したらデイリーポータルZかどっかで「ダイアルアップ接続でWeb会議してみた」をやってほしい

[joker1007]

音声そのものを符号化するんじゃなくて、合成の材料だけを記録して転送先で音声として認識できるレベルまで再合成する感じかな。マシンスペックよりネットワーク確保が厳しくなってる現代的なやり方だ。

[Ehren]

これは面白い

[blueeyedpenguin]

これはすごい。まさに昨今必要とされている技術。まだリアルタイムには向かないのかな？

[otchy210]

どうやって…？と思ったら音声専用なのかなるほど。とすると、各人が自分専用のモデルを事前に作って配る、日本語専用のエンジンを作る、とかまで許容すればもっとがっつり削れそう。

[peketamin]

ガッビオンマイニー！(ストラトを弾きながら)

[Shinwiki]

何ビット何ヘルつ

[snowcrush]

シリコンバレー（ドラマ）っぽい

[aceraceae]

音声をコード化された特徴毎に分解してモンタージュする感じ？

[kamm]

元の音声よりクリアに聞こえるやつもあるね。面白い

[kamezo]

今も音声情報のデータ圧縮やら高音質化やらの研究がされてるんだなぁと思ったら、ブコメによると、これは実は会話音声の分解→再構成技術の話らしい。さすがGigazine。