WebTransport と WebCodecs そして Web はどこまで "ゲーム化" するか | blog.jxck.io
Alternatives 結局 WebSocket が TCP に縛られていなければ良いのではという点に注目すると、 WebSocket over HTTP/3 が実現できれば HoLB などの問題は解決しそうだ。 しかし、仮にそこに複数のストリームを束ねようとしても、 WS の特徴上ストリームごとに 1RTT のハンドシェイクが必要となる。また、サーバから Stream を開始することができない(本当にそれが必要なのかは疑問だが)という問題があげられている。 また、 WebRTC の文脈で進んでいる RTCQuicTransport が、非常にというかあるケースではほぼ同じことを提供することになる点が指摘される。(策定者も同じ) これもやはり、 WebRTC が P2P 前提の仕様でスタートした点と Client-Server ユースケースとの乖離をベースに説明されており、すでに RTC
はじめに こんにちは。 都内在住のフロントンドエンジニアです。 僕はとある会社にて約 1 年半ほど React と WebRTC を用いて映像配信のアプリケーション開発を行ってきました。 そこでは開発をスムーズに進める為に WebRTC の SDK を利用していて、 本来学習コストが高いとされている WebRTC をカジュアルに利用することができています。 しかし、より入り組んだ実装をしたり映像配信特有の問題（後述） を解決するとなると以下 3 つの WebAPI の理解は避けて通れません。 MediaStream RTCPeerConnection WebSocket 詳しくは文中に記載しますがこれらの理解を深めないと開発の進行に大きな影響があると思ったので、WebRTC 関連のライブラリ等を利用せずに映像配信のアプリケーションを作って学習しようという考えになり、実際に作ってみました。
イヤホンメーカーの低遅延への軽視ってやばい
【追記】 夜中の勢いで書いたけど、やはり有線にしろった人多いよな ワイヤレス一個で完結したいだけなんだがそういう要望はニッチすぎなのか PUGBがでて大量の音ゲーがでてスポーツ中継をスマホで見られる時代になってもだいぶ経つのに、いまだ多くの人は有線で繋ぐしか満足行く体験はできないのか ゲーム業界ももっと声あげてくれよな --- 音ゲーとか映画とか動画編集とかする人の多くが諦めているのが遅延問題 もはやスマホでこれらが完結する時代にあって、なぜかイヤホンは音質に力を入れるだけで遅延問題を真剣に対応したがらない 基本的にBluetoothでつなぐのだがそのコーデックによって差がある 現在主流の低遅延モデルはaptxAdaptiveという規格なんだけど、これが低遅延という割に全然遅れて声が聞こえてくる というか、それよりも前にaptxLawLatencyというより低遅延をうたう規格があるにもかか
Googleが2021年2月に発表した、3kbpsという超低ビットレートでも元音声と遜色ないほどの音質を維持できる新コーデック「Lyra」をオープンソース化しました。 ???? Lyra is now being open sourced. This release allows developers to power their communications apps and take Lyra in powerful new directions by providing the tools needed to encode and decode audio. Full details ↓ https://t.co/ZDIaXTVw8c— Google Open Source (@GoogleOSS) Lyra - enabling voice calls for the next b
TOP500、HPCG、HPL-AI、Graph500での世界1位獲得、新型コロナウイルス対策を目的とした試行利用など、話題に事欠かないスーパーコンピュータ「富岳」。そのディープラーニング処理を高速化するには、あるOSSの存在が必要不可欠でした。それが、サイボウズ・ラボ（株）の光成滋生氏が開発したx86/x64向けC++ JITアセンブラ「Xbyak」の設計思想をベースに、光成氏の助言のもと（株）富士通研究所が開発したArm向けのC++ JITアセンブラ「Xbyak_aarch64」です。Xbyak_aarch64は、富岳上でのディープラーニング処理を実現するキー技術のひとつです。 本記事では、Xbyakの開発者である光成氏を中心に、（株）富士通研究所の上席研究員であり、Linuxカーネルへのコアコミッターでもある小崎資広氏を聞き手役として、同研究所シニアリサーチャーの川上健
Raspberry Piで高画質動画撮影を可能にする「Raspberry Pi Cinema Camera」｜fabcross
Raspberry Pi財団は、 Raspberry Piの活用事例として低コストで高画質撮影ができる「Raspberry Pi Cinema Camera」を公式ブログで紹介した。 Raspberry Pi Cinema Cameraは、4GBメモリ搭載のRaspberry Pi 4 Model Bをベースに、1230万画素の裏面照射型CMOSセンサーを搭載した「Raspberry Pi High Quality Camera（以下、HQカメラ）」と6mmレンズを組み合わせた、オープンソースのシネマカメラプロジェクトだ。 クリエイターのCsaba Nagy氏は、Raspberry Pi公式フォーラムに、12bit RAW DNG、解像度2028×1080、フレームレート24fpsの撮影動画を投稿して公開した。映像編集には「DaVinci Resolve」ソフトウェアを利用しているとのこと
秋月謎SoC基板付きケースの購入～解析とLinux(buildroot,Debian)を動かす - honeylab's blog
ある晴れた昼下がり こんなツイートを見かけました 【新商品】部品取りに！無線モジュール付きSoc基板＋白色プラスチックケース | 1,000円 #秋月電子 https://t.co/XGfEkWo9Qw pic.twitter.com/DNnpWKqidX — あきそく2.0 (@aki_soku) March 17, 2023 へー。中身… うおおおおおお、通販ぽちーーーーー！ こんなんかうやろ なんなら今から取りに行きたいわ（いかないけど） https://t.co/dawFBTXHbf pic.twitter.com/D1lpN9w3dK — ひろみつ (@bakueikozo) March 17, 2023 としてTLを眺めていると… 次々に流れてくる購入報告と開封画像 久しぶりに秋月らしい物が… https://t.co/JB5Yvpu6N2 pic.twitter.com/ty
Amazon Web Services ブログ 基本に立ち返る: 動画圧縮の裏側で使われる仕組み 動画エンコーディング この Blog では、動画エンコーディング処理（圧縮）の基本について、簡単な言葉で説明していきます。 圧縮・エンコーディングの主な目的は、動画の記録、保存および伝送するのに必要となるデータの量を削減することです。これは、ストレージハードウェア、データ伝送時間、必要となる配信帯域幅の削減に繋がります。 動画をエンコードするための多くの異なるアルゴリズム（例えば、MPEG-2、H.264/AVC、H.265/HEVC、VP9、AV1 など）が存在しますが、今日使われている一般的なコーデックのほとんどは、このブログ記事で紹介する共通の原理に従います。 Joint Photographic Experts Group もしくは JPEG 圧縮 デジタル画像を圧縮するために最も一般
フロントエンドエンジニアからみる、この界隈で今どんなIssueが話題になってるのかと、この先どういう動きがありそうかについて。 そこまで自分に先見の明があるとも思ってないけど、アウトプットしておかないと忘れてしまいそうなので・・。 ちなみにここでいうフロントエンドは、いわゆるブラウザとかJavaScriptのAPIのことです。 プロトコル的な側面はそこまで詳しくないのであまり触れません。 WebRTC 1.0 GitHub - w3c/webrtc-pc: WebRTC 1.0 API まず、RTCといえばズバリのWebRTCから。 昨年末にWDからCRへ格上げということで、もうAPIが激変したりはしない・・はず。 実際のところ、ここ半年くらい大きな対応した覚えがないです。（WebRTCそのものを実装してる人は、地味にいろいろ対応してると思うけど） ガワのAPIという観点でいうと、最近はも
YouTubeがビデオコーデック「AV1」を使ったライブ配信のベータテストを開始したことが明らかになりました。ベータテストに参加したユーザーからは従来のコーデックと同等画質のライブ配信を圧倒的に低いビットレートで実現できたことが報告されています。 AV1 Live Streaming Is Finally Coming To YouTube | Tom's Hardware https://www.tomshardware.com/news/av1-live-streaming-is-finally-coming-to-youtube AV1コーデックは、GoogleやApple、Amazon、Microsoftなどの大手テクノロジーメーカーが参加する非営利団体「Alliance for Open Media」によって開発されているビデオコーデックです。AV1はHEVC(H.265)と比較
Meta Platformsは米国時間8月1日、テキストから「質の高いリアルな」音楽を生成できる生成人工知能（AI）ツール「AudioCraft」を発表した。 AudioCraftは、Metaの3つの生成AIモデル、「MusicGen」「AudioGen」「EnCodec」で構成されている。MusicGenとAudioGenは、いずれもテキストからサウンドを生成するもので、MusicGenは音楽を、AudioGenは特定の音や効果音を生成する。 「HuggingFace」で公開されているMusicGenにアクセスすれば、デモを再生できる。プロンプトには、聴きたいと思うあらゆる時代のあらゆる種類の音楽を記述できる。Metaは、「バックグラウンドでドラムとシンセサイザーが強く響く、80年代風の迫力あるポップソング」などの例を公開している。 Today we’re sharing details
家電業界や放送業界が「4K」で湧いたのは、2015年頃の事だった。2013年に「東京オリンピック2020」の開催が決定し、総務省がそれに合わせて4K・8K放送のロードマップを策定、2015年にはまだコンテンツもないのに多数の4Kテレビが市場に登場した。 多くの人は、漠然と近い将来テレビ放送が4K化すると思っていたはずである。つまり一番視聴している地上波のテレビ番組が4Kで見られるようになると期待されていた。だが実際には放送帯域の問題から地上波の4K化は見送られ、CSおよびBSのみという事になった。 それでもBSの4K番組が充実すれば、地上波放送を時代遅れにしていくものと期待された。だが現実はBS放送の4K番組といえば、テレビショッピングか、かつてSDで制作された時代劇を4Kにアップコンしたものが大半という結果になった。強い番組はまだ地上波で、HD放送のままである。 日本では、地上波の4K化
YouTubeやTikTokの登場によって誰でも動画を公開できる時代が到来したわけですが、かといって誰でも「動画編集」を行えるかというと話は別で、「どうやって編集したらいいかわからない」「というか、まずどのソフトウェアを使えばいいのかすらわからない」という思いを抱いている人も多いはず。「VideoProc Vlogger」は完全無料なのに動画編集に必要不可欠な機能を完全網羅している上にそれぞれの機能が直感的に使え、編集から加工、そして書き出しまでこれ一本で大丈夫というソフトウェアになっています。 【公式HP】VideoProc Vlogger -無料動画編集＆動画作成＆動画加工ソフト https://jp.videoproc.com/videoprocvlogger.htm まずは公式ページにアクセスして、「無料ダウンロード」をクリック。 「ファイルを保存」をクリック。 保存先に生成された
aptXは本当に高音質で低遅延なのか — WH-1000XM4のaptXなし問題から考える最適なBluetoothコーデック
WH-1000XM4が発売されたが、aptXが排除されたことで、ネットの一部では騒ぎになっている。これを機にこの記事ではBluetoothコーデックについて分析していきたい。 Bluetoothのオーディオ(A2DP)には圧縮方式がいくつかあり、SBC、AAC、aptX(HD)、LDACなどがあり、一部の人は「aptXは他よりも音質が良く遅延も少ない」と吹聴している。本当だろうか？ 長い記事になったので、結論を先に書く。詳しく知りたい方は、下にスクロールして詳細を読んでほしい。 SBC、AptXで音質に違いを見出すことは難しい (※aptX HD はまた別の話です)PC(macOS)上ではSBCとの間で32ミリ秒の差があり、 再生遅延はaptXで180ms程度、SBCで210ms前後であると考えられるAndroid上ではどのコーデックでも遅延は大して変わらず、最低でも200ms、平均して3
WebAssembly の利用シナリオを調べる
参考 : Frequently asked questions 加えて wasm はパフォーマンスの他に移植生も考慮されて設計されています。これによって C++ などでクライアント向けに実装された SDK なども Web に移植できる可能性も生まれます。他にもゲームの SDK, 画像コーデック, 機械学習のモデル、言語ランタイムなども対象にできるでしょう。 とはいえ現実世界で使えているのか Google みたいなトップクラスの技術力の会社だけじゃない？と思われるかもしれません。次はプロダクションの例を調べてみます。 プロダクションでの導入例 Web アプリではまだそこまで実装例は多くないですが、着実にプロダクションでの使用例は年々増えているようです。Google は Meet だけでなく Earth でもプロダクション投入しているようで流石ですね… Google Earth Google
Joonsick Baick2020-02-26Joonsick is in charge of media processing for LINE's MediaPlatform. はじめに 最近、ユーザーが作成したメディアを保存するためのクラウドサービスがかなり人気を集めています。Google フォトやNAVER nCloudなどのサービスがその例です。LINEでも、ユーザーの写真をサーバーに永久保存していつでも閲覧できるようにしたアルバム機能を提供しています。LINEのアルバム機能は、2013年9月にオープンして今年で6年を迎えます。たくさんのユーザーが活発に利用しているため、サーバーに蓄積されるデータ量も膨大になっています。 写真や動画などのLINEのメディアデータは、すべてLINEのメディアプラットフォームが運営するメディアストレージ「OBS（Object Storage）」で管
Googleが2024年4月3日、新たなJPEGのコーディングライブラリである「Jpegli」を発表しました。Jpegliは高い下位互換性を維持しながら機能が強化されており、高品質の圧縮設定で圧縮率を35％も向上したとのことです。 Introducing Jpegli: A New JPEG Coding Library | Google Open Source Blog https://opensource.googleblog.com/2024/04/introducing-jpegli-new-jpeg-coding-library.html libjxl/lib/jpegli at main · libjxl/libjxl · GitHub https://github.com/libjxl/libjxl/tree/main/lib/jpegli インターネットは人々の生活や仕事に
やす 🇺🇸 ベンチャーキャピタル @YasLovesTech 今日は、なぜZoomが勝ったのだろうということをずっと調べていた。あまり腑に落ちてないけど、英語記事などのコンセンスはこんな感じ（連投です） 2020-09-06 21:13:32 やす 🇺🇸 ベンチャーキャピタル @YasLovesTech １）当初はMicrosoft, Facebook, Googleなどジャイアントの参入により競争は激化すると考えられてた。また理由としてもビデオツールは技術的には参入しやすいと考えられていた。また、それはそうだと思う。 2020-09-06 21:13:33 やす 🇺🇸 ベンチャーキャピタル @YasLovesTech ２）参入障壁としてのコーデック。Zoomの競争力を支えているのは動画の圧縮技術（コーデック）で、どんな通信状況でも安定したビデオ通信を提供できるのが売り。ただ、
レトロンバーガー Order 71：「アイドルマスター」最新作が発売されたから，アイマスに至るゲーム史を振り返ってみようか（1970年代から）編
レトロンバーガー Order 71：「アイドルマスター」最新作が発売されたから，アイマスに至るゲーム史を振り返ってみようか（1970年代から）編 編集部：早苗月 ハンバーグ食べ男 アイドルというのは、歌がうまくてかわいくてなどという素材の問題ではないと思う。素材と客との関係性において発生する「状態」のようなものだ。 消しゴム版画家兼コラムニストだったナンシー 関氏は，朝日新聞社（当時）の「週刊朝日」に連載していた“小耳にはさもう”（1996年3月6日付回）で，このように述べました。 近年，アイドルを題材にしたゲームが「溢れかえっている」と形容できるほどに増えていることは，皆さんもご存知の通り。関氏の述べた切り口から考えてみると，今は「ゲームおよびゲームのキャラクターが，プレイヤーとの“関係性”や“状態”を構築できるだけの表現力を獲得することに成功した」時代だと言えるかもしれません。 そんな
2023年4月18日にMicrosoft Research AsiaとMicrosoft Azureのカイ・シェン氏らの研究チームが拡散モデルを使用した小品質の音声合成システム(TTS)である「NaturalSpeech 2」を発表しました。NaturalSpeech 2では数秒の短い音声サンプルを利用する事で、人の声だけでなく歌声までも忠実にシミュレートすることが可能になっています。 [2304.09116] NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers https://doi.org/10.48550/arXiv.2304.09116 NaturalSpeech 2 https://speechresearch.github.io/na
昨今のコロナ禍の影響で在宅ワークの時間が増えたため、本格的なデスクワーク環境を整えた人も多いと思う。そのため、2020年はウェブカメラやPCモニター、さらにはPCそのものも需要が高まり、売れ行きを伸ばした。それらと同様に人気が高まった製品が、PCスピーカーだ。 イヤホンやヘッドホンである程度の代用は可能なものの、長時間に渡って使用するとなると、やはりちゃんとしたスピーカーが欲しくなってくる。ノートパソコン内蔵スピーカーはもとより、コスト優先のPCスピーカーでも音楽を聴き続けるは厳しい。そんな状況を解決すべく、多くの人が良質なPCスピーカーを求めるようになったのだろう。 しかしながら、デスクの上はパソコンやモニター、周辺機器など設置する必要のあるアイテムが多々あり、スペース的にはそれほど余裕があるわけではない。そこで人気を集めたのが、小型で高音質なパワードスピーカーだ。これらの製品は、もとも
マシュー・ダガンのブログより。 デンマークに住む元エクスパットの私は、FaceTimeオーディオをよく使います。使い方が簡単で信頼性が高いだけでなく、音質も素晴らしいです。固定電話を覚えている人にとっては、良いヘッドセットがあれば固定電話を思い出すことでしょう。私たちが携帯電話サービスに切り替えたとき、音質は大きな打撃を受けましたが、最近のVoIP家庭用電話でも問題は改善されていません。そのため、母とFaceTimeオーディオで話していると、まるで母が部屋にいるかのような高音質で、1週間に何度もかかってくる電話と比べて、その存在感は際立っています。 では、Appleはどのようにこれを実現しているのでしょうか? システム管理者としてキャリアを積んできた者としては、技術的な課題を考えると計り知れないものがあります。私たちは、ISPレベルと家庭レベルの両方で、様々なレベルのネットワークの抽象化を
知らなかった！Amazon Fire TVでできる11のこと2021.06.09 21:00273,871 David Nield - Gizmodo US ［原文］ （ satomi ） え？こんなこともできるの!? Amazon Fire TVのスティックと箱があればストリーミングはもう万全。コンテンツを選んで視聴する基本操作は簡単だし、ちょっと見ないうちにものすごく進化してます。 あんまり知られていない機能を中心に11選んでみました。これを読んでFire TVを使い倒しましょ～。 1）ハンズフリーでTVを音声操作Fire TVはリモコン上部のマイクボタンを押しながらAlexaの音声コマンドでTVを操作できるわけですが、これ、声が届く圏内にEchoがあればそのスピーカーに叫ぶだけでもできるって知ってました？ あるなら｢Alexa、～を再生して｣と叫んでみて。スピーカーとストリーミング端
「低遅延」「ゲーミング」をアピールするワイヤレスイヤホンでも音ゲーが遊べない理由。"判定幅"と人間の知覚から考える「音ゲーができる遅延」とは - はやぽんログ！
ゲーミング対応の低遅延をアピールするワイヤレスのイヤホンがいくつも登場しているが、どれもリズムゲーム。いわゆる「音ゲー」は満足に遊べないという結果が出ている。低遅延をアピールしても、なぜ人間にはわかってしまうのか。そのあたりを深堀してみていこう。 映像のと音声のズレから"違和感"を感じる時間は0.1秒 音ゲーにおいて、人間は"リズム効果"でスペックを超える知覚パフォーマンスが出せる スマートフォン向けの音ゲー。判定幅は40msが多い ワイヤレスイヤホンで音ゲーを遊ぶ！遅延なしは無理だが、許容限界はタイミング調整をして40ms 音ゲーを快適に遊ぶために求められるワイヤレスイヤホン側の遅延は40ms以下。現時点で達成は難しい 映像のと音声のズレから"違和感"を感じる時間は0.1秒 はじめに、一般的に人間が映像と音声のズレを「遅延」として認識し、違和感や不自然さを感じる時間を確認してみる。これに
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
AWS Elemental MediaConvertに高圧縮が可能な最新エンコード規格「AV1」がやってきた!! ので比較動画を作ってみた | DevelopersIO
AWS Elemental MediaConvertに高圧縮が可能な最新エンコード規格「AV1」がやってきた!! ので比較動画を作ってみた おつかれさまです。ゲストブロガーのみうみうです。 AWS Elemental MediaConvert において衝撃的なアップデートがありましたので、検証結果をお伝えします。 後半の方はAV1とか5Gとかを絡めて、なんでこういう技術が大切なのか。という思いを語ります。 AV1がついに使えるように！！ NABの開催に合わせて発表されるのかな、と思っていたAV1の対応ですが、使えるようになっていたので、どれだけのものなのかを検証してみました。 ツイートで気が付く。 ? AV1 Encoding Now Available with AWS Elemental MediaConvert https://t.co/9o9JNb5AtL pic.twitter.
「バッファロー製nasneは、完全新規設計として開発した」――バッファローは8月30日、ネットワークレコーダー「nasne」を、ソニー・インタラクティブエンタテインメント（SIE）から継承した当時の裏話を、「PRTIMES STORY」で公開した。nasneは同日、誕生10周年を迎えている。 nasneは2012年8月30日にSIEが発売。2019年6月にSIEが出荷終了を発表した。当時は、nasneに接続して使う外付け機器を多数販売するバッファローにも問い合わせが殺到したという。 その後、2020年10月7日にバッファローがnasneの継承を発表。Twitterなどで話題を集めた。 バッファロー製nasneは、デザインやパッケージはSIE製品のイメージを踏襲し、違和感が出ないことを目指しつつも「ハードウェアは一から作り直し、共通部分はほぼ無いと言えるほど、CPU、OSともに完全に新規設計
こんにちは。業務委託として SRE チームのお手伝いをしている @syucream です。 本記事では Repro にて開発した、 Go 製のカラムナフォーマットへのデータ変換ツール columnify について、開発背景や技術的な取り組みを紹介します。 なぜカラムナフォーマットか？ ことのおこり 事業がスケールすると共に扱うログの量が増えることは、喜ばしい反面さまざまな悩みをもたらします。その中でも顕著なものの一つとしてコストの問題が挙げられます。 膨大なログデータはログに対するストレージ料金を増大させると共に、分析や可視化に際してクエリで求められるコンピュートのコストも無視できなくなっていきます。 近頃 Repro でもコンテナのログの管理においてこの問題が顕著になってきました。Repro のバックエンドシステムは ECS 上のコンテナで実現され、ログの閲覧・管理のため外部のログ収集サ
古い写真・低画質アニメ画像・イラストなどを簡単に高画質化できる「Winxvideo AI」でいろんな画像をハッキリクッキリアップグレードさせてみたレビュー
最先端のAI技術を利用して自動で動画を高画質化・フレーム補間・手ぶれ補正することができるソフトウェア「Winxvideo AI」は、動画だけでなく画像の高画質化も可能です。低画質な画像を鮮明に補正することができるということで、Winxvideo AIを使っていろんな画像を高画質化しまくってみました。 【無料】Winxvideo AI - 最高の動画、写真高画質化・修復＆動画変換ソフト｜無料体験 https://www.winxdvd.com/winxvideo-ai-ja/index.htm Winxvideo AIをインストールするには、上記の公式サイトにアクセスしてトップにある「無料ダウンロード」ボタンをクリック。 ダウンロードしたインストーラーをダブルクリックで起動。 「インストール」をクリック。 数秒でインストールが完了するので、「今すぐ起動」をクリック。 「後で通知する」をクリッ
はじめに 最近、特に Amazon Music や Apple Music が空間オーディオを提供するようになってから、Dolby Atmos や 360 Reality Audio などを利用した楽曲が注目されている。 だが、それらはストリーミングサービスというクローズドな環境で提供される上に、Dolby Atmos に関しては Dolby のプロプライエタリなフォーマットを使用している。 そのため、それらのフォーマットで音楽制作する方法や再生する方法については様々なメディアで解説されているが、制作された音源がどのようにエンコードされ、視聴者のもとへ届けられ、そしてデコードされるかの「間」の部分に関しては、あまり知られていない。 この記事では、音楽サブスクを対象に、今まであまり触れられてこなかった空間オーディオの中間部分について解析し、解説していこうと思う。 サンレコのコラムで当記事が紹
前回のエントリでは、 VTuberの岸嶺ミミムさん（Twitter）、思惟かねさん（Twitter）との3人で行った座談会の書き起こしを公開しました。 2021年1月の時点でVTuber業界について語る、全3回の配信でしたが、前回のエントリが「第2回」の配信内容にあたります。 そのエントリも好評だったということで、今度は第3回から長めに書き起こしたいと思います（なお、前回も含めて他のお2人に確認していただいた上で、読みやすく加筆・再構成したテキストになっています）。 どちらも座談会というより、泉がこの配信のために準備した初出のアイディア（他では未発表）をプレゼンしていたパートを切り取っており、「VTuber論」に興味のある人に広まればいいなと思います。 プレゼンのお時間 ～オタクの「好みの構造」とVTuber～ キャラクター論の虚構とリアル VTuber語りと「ぼくら語り」の話 外見と内面
米Metaは8月2日（現地時間）、テキストプロンプトから音楽や音声を生成する生成AIツールスイート「AudioCraft」をオープンソース化したと発表した。トレーニングに使うデータの多様化もオープンソース化のねらいの1つだ。 AudioCraftは、エフェクトやサウンドスケープを生成する「AudioGen」、テキストからメロディーを生成する「MusicGen」、ニューラルネットワークベースのオーディオ圧縮コーデックの「EnCodec」の3つのコンポーネントで構成されている。MusicGenは単体で6月にオープンソース化されている。EnCodecは昨年11月に公開済みだが、最近の改良でより高品質な音楽生成が可能になったという。 MusicGenは、Metaが所有する音楽と、「この目的のために特別にライセンスを取得した音楽」をあわせて2万時間分のデータでトレーニングしたとしている。 Metaは
WebRTC配信技術 "WHIP" で遊ぶ - NTT Communications Engineers' Blog
はじめに 当ポストは、低遅延配信の技術であるWHIP(WebRTC-HTTP Ingestion Protocol)を自分で動かしてみたい方へ向けた記事となります。 WebRTCを利用した配信映像の集信プロトコルであるWHIPは現在Internet-Draftではありますが、配信技術者やWebRTC技術者の注目を得て、実際に動かせる環境が整ってきました。 当ポストでは、WHIPが動く環境を作り、自前のWebRTCスタックをWHIPで使う簡単な方法を紹介します。 とはいえInternet-Draftということもあり、「WebRTCなら聞いたことあるけど、WHIPって何？配信とWebRTCが関係あるの？」という方も多いと思いますので、最初はWHIPの紹介から入りたいと思います。 WHIPとは WHIPは、WebRTCを利用したインジェストのためのHTTPSベースのシグナリングプロトコルです。
ヤマハがノイキャン完全ワイヤレスでしょうぶをしかけてきた！ 耳に優しいイヤホンです2019.11.11 22:00129,144 ヤマダユウス型 ずっと音楽を楽しむために、ヤマハがおくる慈愛のイヤホン。 ヤマハが、完全ワイヤレスイヤホン｢TW-E7A｣｢TW-E5A｣｢TW-E3A｣、および首かけワイヤレスイヤホン｢EP-E50A｣｢EP-E30A｣を発表しました。モデル名がいっぱい並びますが、いわゆる松竹梅みたいな区分けです。 Image: YAMAHATW-E7A（左）とEP-E50A（右）玉となるのはやはり上位モデルの｢TW-E7A（完全ワイヤレス）｣と｢EP-E50A（首かけワイヤレス）｣。どちらもノイズキャンセリングを搭載していて、これらをはじめとする多彩なバリエーションで｢ヤマハはイヤホン市場に本格参入する｣と述べていました。さっそくそのノイキャンっぷりを試聴しようじゃあないか
富岳版XbyakがIntelの深層学習ライブラリoneDNNにmergeされる - Cybozu Inside Out | サイボウズエンジニアのブログ
初めに サイボウズ・ラボの光成です。 このたび、Intelの公式深層学習ライブラリoneDNNに、富士通が開発しているスーパーコンピュータ富岳向けのPull Requestがmergeされました。 その開発に関わることになった経緯を紹介します。 目次 概要 Xbyakとは 動機 Intelとの関わり 富士通との関わり 概要 富士通研究所はスーパーコンピュータ富岳で深層学習（ディープラーニング）を高速に処理するためのソフトウェアを開発してます。 そのためにIntelが開発している深層学習ライブラリoneDNNを富岳に移植して改良しています。 このたび、その成果の一部が本家のoneDNNに取り込まれました。 富岳はA64FXというArm v8-Aにベクトル演算機能SVEが追加されたCPUを持ちます。 oneDNNを富岳に移植するには、私が開発しているXbyakのA64FX用Xbyak_aarc
目次＃ 前編 準備段階：計画と指標 パフォーマンスを重視する文化、Core Web Vitals、パフォーマンスのプロファイル、CrUX、Lighthouse、FID、TTI、CLS、端末。 現実的な目標の設定 パフォーマンスバジェット、パフォーマンス目標、RAILフレームワーク、170KB/30KBバジェット。 環境の定義 フレームワークの選択、パフォーマンスコストの基準設定、Webpack、依存関係、CDN、フロントエンドアーキテクチャ、CSR、SSR、CSR + SSR、静的レンダリング、プリレンダリング、PRPLパターン。 中編 アセットの最適化 Brotli、AVIF、WebP、レスポンシブ画像、AV1、アダプティブメディア読み込み、動画圧縮、Webフォント、Googleフォント。 ビルドの最適化 JavaScriptモジュール、モジュール/ノーモジュールのパターン、ツリーシェイ
ブラックフライデー 記事情報 まずはこちらを ①プライム会員 ②エントリー ③ギフト券 番外編 Kindle Unlimited Audible Amazon製品編 Fire TV Stick Echo Kindle キッズモデル Apple製品編 Apple iPad 2021 イヤホン編 Echo Buds JPRiDE TWS-520 雑貨編 セーフティーボックス ムーミン プレート皿 月ランプ フード編 ずわい蟹 シーチキンマイルド ドリンク編 アサヒ 緑茶 アサヒ 麦茶 コーヒー編 デロンギ コーヒーメーカー ゲヴィ 4-in-1スマートコーヒーメーカー リラックス編 チルアウト ハーブティー アロマオイル スポーツ編 可変式ダンベル トレーニングベンチ ヨガマット 掃除編 パイプユニッシュ カーペットクリーナー まとめ 記事紹介 ブラックフライデー 夏のプライムデーに並ぶAma
近年は動画ストリーミングサービスの利用者が増加しており、インターネットトラフィックの大部分を占めていると指摘されています。世界最大級の動画ストリーミングサービスであるNetflixが、日々大量のデータを全世界のユーザーに送信するためにどのような工夫を凝らしているのかを説明するスライドを公開しています。 2022-Streaming-Summit-Netflix.pdf (PDFファイル)http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf Netflixは800Gb/sもの動画データを1つのサーバーで送信するシステムの構築を目指し、長い道のりを歩んできました。 Netflixのワークロードでは、動画を「静的メディアファイル」として送信しており、すべてのコーデック／
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ReactとWebRTCでZoomのようなビデオチャットアプリを作ってデータフローを図解してみた
Googleが3kbpsの超低ビットレートでも高音質を実現するコーデック「Lyra」をオープンソース化
富岳のディープラーニング処理を支えるJITコンパイラ「Xbyak_aarch64」誕生秘話 | gihyo.jp
基本に立ち返る: 動画圧縮の裏側で使われる仕組み | Amazon Web Services
フロントエンド x RTC界隈の最近とこれから - console.lealog();
YouTubeがAV1を使ったライブ配信に対応し4K・60fpsムービーの超軽量配信が可能に
Meta、テキストから音楽を生成するAIツール「AudioCraft」を発表
動き出した「地デジ4K化」 技術的には行けそう、でも募る“ソレじゃない”感
完全無料の動画編集ソフト「VideoProc Vlogger」は多種多様な便利機能の使いやすさが圧倒的で初心者にもオススメ
LINEのストレージ効率化を支えるJPEG↔HEIF変換プロジェクト「Antman」開発記
Googleが高品質なJPEG画像の圧縮率を35％向上させる新たなコーディングライブラリ「Jpegli」を発表
なぜ新参者のZoomが一人勝ち出来たのか？徹底的に考察してみた「こういう戦いはGAFAMが一番苦手なところ」
Microsoftがわずか数秒のサンプルから会話や歌声を再現できる音声合成AI「NaturalSpeech 2」を発表
机の上でいい音を、デスクトップスピーカーの推薦5機種はこれだ
FaceTimeの仕組みはどのようになっているか?
知らなかった！Amazon Fire TVでできる11のこと
「バッファロー製nasneは完全新規設計」 ソニーから継承時の裏話公開 誕生10周年で
軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog
「Opus」と「AAC」どっちが高音質? 周波数分析でコーデック比較した【藤本健のDigital Audio Laboratory】
音楽サブスクはどのように空間オーディオを提供しているのか – idomizu theatre
オタク世界の◯◯図で見るVTuber【配信書き起こし】 - izumino’s note
Meta、テキストプロンプトで作曲できる生成AIスイート「AudioCraft」をオープンソース化
ヤマハがノイキャン完全ワイヤレスでしょうぶをしかけてきた！ 耳に優しいイヤホンです
フロントエンドパフォーマンスのチェックリスト2021年版（PDF、Apple Pages、MS Word）-中編 | POSTD
ブラックフライデー2022 モグ的オススメ特集 - mogumogumo.jp
MP3より高音質! YouTube/Discord採用の「Opus」コーデックを試した【藤本健のDigital Audio Laboratory】
Netflixはどのようにして800Gb/sものデータ転送を実現しようとしているのか？