七声ニーナを支えるバックエンド技術 | BLOG - DeNA Engineering

データ統括部AI基盤部の竹村( @stakemura )です。本記事では、このたびリリースされた、自分の声をキャラクターの声に変換できるWebサービス VOICE AVATAR 七声ニーナ を支えるバックエンド技術についてお話しします。 本サービスはDelight Boardという部署横断型のプロジェクトにて、1000人を超える社員投票により自分の案がまさかの採択となったことがきっかけとなります。幸運にも、百戦錬磨のプロジェクトメンバーに助けられ今日のリリースを迎えましたが、採択当時は人脈も信用貯金も何もない入社一年目の思いつきにすぎず、言い出しっぺである自分の力不足によりタイトなスケジュールでの開発となってしまいました。本記事では、その限られた開発期間の中で、自分が何を考えて実装したかを中心にお伝えします。 サービングに求められる要件 七声ニーナの音声変換はブラウザから受け取った入力音声

[misshiki]

事例。音声変換の機械学習モデルは、主にPyTorchが使われているらしい。この記事はクラウド内でのシステムアーキテクチャーと実装方針について書かれている。

[kmiya_bbm]

サーバーレスのコールドスタート問題をUXで解決している点や、入力音声は最大 10秒まで、録音後に変換した音声を再生(リアルタイム変換ではなく)、というサーバーレス向けなシンプルな仕様のデモにしたのが素晴らしい

[Kesin]

機械学習フレームワークって何であんなに巨大なのか。実際にプロダクションで使っているところはこういう工夫をどこもしてるのかな

[nekoruri]

"コンテナサイズがコールドスタートに影響しないという性質" ここ技術選定における重要ポイントやね