|DMM inside
はじめに 当ポストは、低遅延配信の技術であるWHIP(WebRTC-HTTP Ingestion Protocol)を自分で動かしてみたい方へ向けた記事となります。 WebRTCを利用した配信映像の集信プロトコルであるWHIPは現在Internet-Draftではありますが、配信技術者やWebRTC技術者の注目を得て、実際に動かせる環境が整ってきました。 当ポストでは、WHIPが動く環境を作り、自前のWebRTCスタックをWHIPで使う簡単な方法を紹介します。 とはいえInternet-Draftということもあり、「WebRTCなら聞いたことあるけど、WHIPって何?配信とWebRTCが関係あるの?」という方も多いと思いますので、最初はWHIPの紹介から入りたいと思います。 WHIPとは WHIPは、WebRTCを利用したインジェストのためのHTTPSベースのシグナリングプロトコルです。
こんにちは、@24guchiaです。 タイトルの通り、1年勤めたベルフェイス株式会社を退社しました。 ベルフェイスの入社エントリーはこちら。 ベルフェイス株式会社に入社しました なぜやめるか? 入社エントリーにある入社を決めた理由が満たされなかった点と、アサインされていたプロジェクトの中断が理由です。 事業会社である以上、プロジェクトの中断は仕方ないので納得しており、僕が残る理由はなくなってしまったのが大きいですね。 ここでスクラム開発におけるスプリント異常終了時の注釈を読んでみましょう。 重要なのは、チームメンバーはリソースではないということだ。自分のコミットメントを外部の力でだいなしにされたことに、意見も感情も絶対に持っている。 Ken Schwaber ‒ March 6, 2008 Ken Schwaber 氏はスクラムガイドを書いた作者の一人です。 さて、ベルフェイスで学んだこと
オープンソースで開発されている「Jitsi Meet」は、多人数同時ビデオ通話を可能にするWebRTC JavaScriptアプリケーションです。アカウントを作成したり、コンピューターにクライアントソフトをインストールしたりする必要はなく、ウェブブラウザやスマートフォンから完全無料で、セキュアなビデオチャットが利用可能。さらに、Googleカレンダーと連携させることでイベントに応じたチャットルームを作成することができます。 Jitsi Meet https://meet.jit.si/ jitsi/jitsi-meet: Jitsi Meet - Secure, Simple and Scalable Video Conferences that you use as a standalone app or embed in your web application. https://gi
この記事は? こんにちは。NTTコミュニケーションズのyuki uchidaです。普段はSkyWayというWebRTCプラットフォームの開発やWebRTCリサーチャー(見習い)をしています。 この記事は NTTコミュニケーションズ Advent Calendar 2020 10日目の記事です。昨日はy-i さんの記事、 「グループ内プログラミングコンテストをオンライン上で開いた件」でした。 前回、 NTT コミュニケーションズのアドベントカレンダー3日目の記事として、「WebSocketの次の技術!?WebTransportについての解説とチュートリアル」という記事を投稿しました。 WebTransportが出てきた背景や、双方向通信の歴史について解説しているため、興味があれば是非ご覧ください。 今回の記事は、そのWebTransportとWebCodecsを組み合わせてビデオチャットを実
概要 すでにいろんなブラウザに実装されて、商用(?)サービスなども登場しているWebRTCですが、この記事では「なぜWebRTCが登場したのか?」「どうしてこんな仕組みになっているのか?」を振り返ることで、VoIPからWebRTC、そしてORTCへの変遷を振り返りたいと思います。 Before WebRTC: VoIP WebRTCが登場するまでは、インターネット上/IP上でリアルタイム通信を実現する技術としてVoIPがありました。中でも、今までで最も成功したVoIPのフレームワークとしてはSIPが挙げられるでしょう。WebRTCで初めてリアルタイム通信に関わった方でも名前くらいは聞くことがあるのではないでしょうか。WebRTCで利用されているSDPやRTPも、SIPとセットで仕様が作られました。 SIPはWebRTCでも必要なシグナリング機能を提供するための使われるのですが、なぜSIPが
n.eko This app uses Web RTC to stream a desktop inside of a docker container, I made this because rabb.it went under and my internet can't handle streaming and discord keeps crashing when my friend attempts to. I just want to watch anime with my friends ლ(ಠ益ಠლ) so I started digging throughout the internet and found a few kinda clones, but none of them had the virtual browser, then I found Turtus a
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
時雨堂は 2020 年 10 月で 9 期を迎えます。最近は WebRTC SFU Sora が様々な場面で使っていただけるようになってきたこともあり、会社が自社製品の売上だけでまわるようになりました。 とはいえ、ただの零細企業でしかないため、いつ自社製品が売れなくなるかわかりません。次どうするかを 8 月はコード書くのを止めて色々考えていました。 一通り考えがまとまったので、まとめておこうと思います。 要約Sora を採用したくなる OSS の提供Sora 向け統計解析ツールを OSS で公開Sora 向け録画合成ツールを OSS で公開Sora 向け負荷試験ツールを OSS で公開本気で日本の WebRTC 市場を取りに行く経営状況ありがたいことに相当順調です。税理士も開いた口が塞がらないほどです。とはいえ働き方は特に変わっていませんので、変化があるとしたら社員の賞与の金額くらいでしょ
はじめに 9月4日から18日の2週間、NTTコミュニケーションズでインターンシップをさせていただきました。この記事では、インターンシップの体験記として、どのようなことをしたのか、職場の環境はどんな感じなのかを紹介したいと思います。 概要 今回私は、NTTコミュニケーションズ技術開発部 WebCoreチームでWebRTCプラットフォームSkyWayの開発・運用に関する仕事をしました。勤務先は浜松町にあるLAB(Lean Agile Base)でした。NTTコミュニケーションズのオフィスは、他に大手町や田町にもあります。 developer.ntt.com インターンのきっかけ SkyWayチームでインターンシップとかあったりするんだろうか… WebRTCガッツリできるインターンシップって見たことないかも…— sublimer (@lz650sss) 2019年5月15日 「できたら嬉しいな」
[速報]マイクロソフト、ビデオ会議やチャット機能などを組み合わせて独自の電子会議アプリなどを開発できる「Azure Communication Services」プレビュー公開。Ignite 2020 マイクロソフトはオンラインで開催中の年次イベント「Ignite 2020」で、プログラマが容易に独自の電子会議アプリケーションやグループチャットアプリなどを開発できるフレームワーク「Azure Communication Services」のプレビュー公開を発表しました。 Easily add SMS, chat, voice and video calling to your apps and websites with just a few lines of code. Introducing #Azure Communication Services https://t.co/PLXO
※ このブログはヌーラバー Advent Calendar 2020 12日目の記事です。明日は yuh kim さんの記事です。 こんにちは。本日32歳になりました。Cacoo課の川端(@kwbtsts)です。 Cacooは先日、図の編集画面上でビデオ会議ができる「ビデオ通話」機能をリリースしました! 本記事では、ビデオ通話を実現するために必要なWebRTCという技術について解説したいと思います。ビデオ通話を実際にWebサービスで開発・運用していこうと考えている方や、WebRTCに興味がある方へのヒントになれば幸いです。 ビデオ通話機能についての詳しくはCacooリリースブログ『テレワークで使える!Cacooで「ビデオ通話」ができるようになりました!』をご覧ください。 WebRTC(Web Real-Time Communications)とは? Cacooのビデオ通話ではWebRTC(
This is the home of the whitepaper documenting Zoom's planned end-to-end encryption system. The latest released PDF… 現在の実装から今後どうしていくかをかなり詳細に書いていますので、まずはこちらを読んでみることをおすすめします。 Zoom の暗号化/復号Zoom の暗号化/復号はすべてクライアントで行われ、Zoom のメディアルーターは基本的に干渉しないという設計のようです。WebRTC SFU とは異なり、基本的にはリレーサーバのような役割を果たしているようです。 ただしここからがポイントでクライアントが暗号化/復号に利用する鍵は参加者全員が同じものを利用します。さらにこの鍵はZoom サーバが配布します。 鍵自体の変更は一切行われず、1 鍵 1 会議という仕組みのようです
DiscordやSlackなどチャットやビデオ通話を主目的としたソフトウェアは数々存在しますが、オープン標準かつ軽量なリアルタイム通信プロトコルMatrixを採用したチャットソフトウェアが「Element」です。Elementはエンドツーエンド暗号化を用いたセキュアなチャットが行えるというだけでなく、ビデオ通話まで可能ということなので、実際に使ってみました。 Secure messaging app | End-to-end encrypted messenger https://element.io/personal というわけで、Elementを実際に使ってみます。Elementはウェブブラウザ版・iOS版・Android版・PCソフトウェア版が存在するので、それぞれを実際に使ってみます。 ・目次 ◆ウェブブラウザ版 ◆iOS版 ◆Android版 ◆PCソフトウェア版 ◆ウェブブラウ
三行まとめ WebRTC の getDisplayMedia API を利用した P2P で画面共有するサービスを作りました。 全て Managed Service (AWS & Firebase) 上で動作しており、ほぼノーメンテナンスでそれなりスケールします。 無料。ただし、音声無し、TURNサーバー無し、SLA 無しで、繋がらないこともそれなりにあると思うので、クリティカルな用途に使用することは非推奨 getdisplay.media 使い方 どういう風に使うのか、また遅延はどれくらいなのかを以下の動画をご覧ください。 配信側は WiFi で、視聴側の iPhone は LTE 回線で繋がっています。 Fully managed and serverless Screen Sharing Service: getdisplay.media 配信は GitHub 認証が必須ですが、視聴
初めましてこんにちは、今年の4月から新卒でフロントエンド開発部に入社した cw-suetake 🐧です。 いきなりですが、WebRTCを利用したビデオチャットなどを開発しているとE2Eテストがほしくなってきませんか? 開発者一人で開発していると動作確認のために複数のブラウザを起動したり、PCにたくさんのwebカメラやらマイクやらを接続して…それぞれのウィンドウで各種機能が動くか確認して…とにかく動作確認ひとつにしてもやることが多くなりがちです。 そうなってくると、ある程度の動作検証はE2Eテストに任せて楽をしたくなるものです。しかしWebRTCはブラウザ側に実装されているAPIに強く依存していますし、そもそもどうやってカメラやマイクが正しく動作することを保証すればいいのでしょうか?そんな悩みに対しての自分なりの案をご紹介します。 テスト対象 音声とカメラ映像を送受信してオンラインコミュニ
この新規格では圧縮が改善され、従来規格であるH.265/高効率ビデオコーディング(HEVC)と比較して、同等の映像品質でビットレートを約50%削減し、より高速な映像伝送が可能になる。 H.266/VVCは、SDからHD、4K、8Kまでのすべてのビデオ解像度を効率的に伝送・保存し、ハイダイナミックレンジビデオや無指向性360度ビデオにも対応しているという。 現在、モバイル機器に搭載可能なH.266/VVC対応の新しいチップの設計が進められているそうだ。 同研究所ビデオコーディング・アナリティクス部門の責任者であるトーマス・シエル博士は「秋に、H.266/VVCをサポートする最初のソフトウェア(エンコーダーとデコーダーの両方)をリリースする」とコメントしている。 関連記事 Apple T2チップHEVCエンコードの利点と限界 Apple T2 チップを利用したHEVC (H.265) ハードウ
こんにちは、ねこまんまです。 先日、ピクシブはWebRTCプロジェクトのフォークを公開しました。このフォークにはオリジナルのプロジェクトには含まれていないいくつかの変更が施されていますが、その中でも大きな機能追加である、WebRTCの.NETバインディングを紹介します。 pixiv/webrtc on GitHub このバインディングを用いることによって、Unityや.NET Framework、Monoといった.NETプラットフォームで映像や音声のライブ配信、受信が可能になります。 Linux上のFirefoxで、SoraのJavaScript SDKを利用して配信したディスプレイの映像を、同機上のUnity Editor、iOS、Androidのプレイヤー上で受信している。Unity上のプログラムはそれぞれ同じものを利用している。SFUとしてImageFlux Live Streami
この記事は NTTコミュニケーションズ Advent Calendar 2023 の15日目の記事です。 この記事では、ChatGPT と 音声認識モデルの Whisper を用いた発音練習アプリケーションをご紹介します。 ChatGPT に読み上げる文章を考えてもらい、その文章の読み上げた音声を Whisper で文字起こしします。 正確に発音できていれば、正確に文字起こしできる、という考えから、 原稿と文字起こし結果を比較すれば発音練習に使えるのではないかと考えました。 実際に使ってみた結果、発音のどこが悪かったのかといったフィードバックはもらえませんが、 自分の発話した音声に対して評価がつくだけでも、結構楽しく練習できると感じました。 音声認識を活用したアプリケーションは、一般に音声認識精度がネックになると思いますが、 このアプリケーションは音声認識精度が100%ではないことを逆手に
ウェブブラウザ「Firefox 106」の正式版が公開されました。記事作成時点ではmacOS限定ながら画像内のテキストを抽出する機能が追加されるなど、ユーザーが直接触れる機会が多くなりそうな数々の機能が導入されています。 Firefox 106.0, See All New Features, Updates and Fixes https://www.mozilla.org/en-US/firefox/106.0/releasenotes/ ◆画像内のテキスト抽出 macOS 10.15(Catalina)以降で、選択した画像からテキストを抽出できるようになります。テキストの抽出を行うには、テキストを含む画像を右クリックし、表示されるポップアップメニューから「Copy Text from Image」を選択します。 抽出されたテキストは共有・保存・検索するためにクリップボードにコピーされ
If you don't live in a cave and aware of what is going on in the world 🌍 , Russian 🇷🇺 government had started global armed invasion on the territory of Ukraine on the 24th of February 2022. This is for real, this is a WAR. Russian army is killing Ukrainian soldiers, Ukrainian civil citizens and Ukrainian children RIGHT NOW because Russian government gave them an order to do so. You can search on
ユーザーのウェブブラウザ間でビデオやオーディオ通話をする際のタイムラグを軽減するために使用される「WebRTC」の機能により、ユーザーのローカルIPアドレスが悪意のあるサイトに取得される危険性があることがかねてから報告されています。新たに、IPアドレスの漏えいを体験できるテストサイトが公開されました。 WebRTC Local IP Leak Test 🍌 - github.com/niespodd/webrtc-local-ip-leak https://niespodd.github.io/webrtc-local-ip-leak/ GitHub - niespodd/webrtc-local-ip-leak: Oh no, stop this. You can see my local IP address 😲! Use `foundation` attribute agains
なんとなくアテはついてたけど、中身が気になるという話を聞いたので調べてみた。 WebRTCやってるみなさんならお馴染みのあのページです。 chrome://webrtc-internals WebRTCのデバッグといえばこのページ。 特に何も仕込んでないのに、見てるページで`getUserMedia()`したり`RTCPeerConnection`が作られればその様子が見えるし、実際に流れてるメディアやデータのことまでわかる。 あれってどういうしくみ?っていうのを調べていきます。 ただのWebページ URLが`chrome://`になってるけど、れっきとしたWebページです。 なのでDevToolsでNetworkタブ見ればだいたいわかる!というわけで。 構成要素はこんな感じ。 webrtc-internals.html ただのHTML/CSS 以下の2つのJSを読み込んでる util.j
無料&インストール不要でビデオチャットが可能なオープンソースのビデオ会議サービス「Jitsi Meet」を運営する「Jitsi」が、エンドツーエンドの通信暗号化をJitsi Meetでテスト中であるとブログで語っています。 This is what end-to-end encryption should look like! - Jitsi https://jitsi.org/blog/e2ee/ ビデオ会議などの大人数を想定した通信は、SFUというサーバーを仲介したWebRTCが利用され、Jitsi MeetではSFUをJitsi Videobridge(JVB)として実装しています。ネットワーク上では通信は暗号化されていますが、JVBで中継した通信をいったん復号化する必要があり、JVBにアクセスを許すと通信を傍受される危険性があり、SFUによるWebRTCの暗号化における問題点でした
Zoomの基盤を使い、開発者が独自のアプリケーションを構築できるSDKが発表:ARなどによる拡張もしやすく ビデオコミュニケーションサービスのZoom Video Communicationsは、同社のプラットフォーム上に開発者が独自のアプリケーションを構築できる新たなSDKを発表した。Zoomの機能をホワイトラベル的に使い、自由にユーザーインタフェースを設計できる。 ビデオコミュニケーションサービスのZoom Video Communicationsは、同社のサービス機能を活用して開発者が独自のアプリケーションを構築できる新たなSDKを発表した。Zoomは自社を「ソフトウェア提供者ではなくプラットフォーム提供者」と表現してきたが、今回の発表でこの表現がさらに実態に近づくことになる。 Zoomは2020年10月14日(米国時間)、年次イベント「Zoomtopia」で、「Customizab
こんにちは。サーバーエンジニアのユンです。 今回Mirrativは「コラボ配信」という機能を開発しました。他の配信者(最大3人)と音声でつながり、視聴者とも同時にコミュニケーションを楽しむことができる機能です。 コラボ配信機能の紹介記事 | Mirrativ公式ブログ コラボ配信機能 現在のところ、一部の配信者さんにご利用いただき、さらなる機能改善を進めています。 もともと、Mirrativでは「コラボ通話」という配信者と視聴者が通話する機能があります。コラボ通話はWebRTCの機能を使っていて、iOS/Android側はlibwebrtcにパッチを当てたものを利用しています。またSTUN/TURNはTwilioを利用しています。 コラボ通話をしているときユーザーは配信者、コラボ通話者、視聴者の3種類に区別され、配信者とコラボ通話者はWebRTCで音声が双方向になり、お互いの声をWebRT
最近ちまたでは、リモート会議や飲み会で、自分のカメラ映像をsnapCameraで面白おかしく加工するのが流行っています。 映像だけでなく、声も加工したくなるとき、ありますよね? ・・・ありますよね?(・・・きっとあるから読んで頂けているはず。) 自分の声を加工するためには「バ美声」などのボイスチェンジャーアプリと仮想オーディオデバイスが必要です。しかし、これらを用意するには手間がかかるし、仮想オーディオデバイスは割とトラブルがつきものです。。。 そこで、手間無しで、トラブルに悩まされることも無く、誰でも簡単にボイスチェンジ出来る、ボイスチェンジャー付きボイスチャットアプリを作ってみることにしました!! 必要な材料 SkyWay ボイスチャットアプリを簡単に実装できるSDK & API Tone.js Web Audio APIを簡易に扱うことができるフレームワーク。音の生成や加工が簡単にで
rtcstats-wrapperとは? WebRTC統計情報のブラウザ標準化 WebRTC統計情報の瞬間値計測 WebRTC統計値の定期監視 を実現したRTCStatsのラッパーです。 リポジトリ: https://github.com/skyway-lab/rtcstats-wrapper ドキュメント: https://skyway-lab.github.io/rtcstats-wrapper/index.html 背景 WebRTCでは、送受信されているメディアのパフォーマンスやネットワーク環境を監視するための統計情報を規定しています。 WebRTCを使用しているWebアプリ開発者なら、 1. ブラウザからWebRTC統計情報(Chromeならchrome://webrtc-internals)を確認して 2. dumpファイルをダウンロードして 3. https://fippo.g
Intel Ignite 2023で優勝! AV1やH.266を超える圧縮率を実現するDeep Renderの「AIベースの動画圧縮技術」って何?:Intel Ignite 2023(1/4 ページ) 有望なベンチャー企業を支援すべく、Intelは2019年から「Intel Ignite」という支援プログラムを展開している。支援対象になれば同社から数百万ドルの資金援助を受けられるということもあって、多くのスタートアップ企業がこのプログラムに参加/応募している。 →Intel Ignite 9月に行われたイベント「Intel Innovation 2023」では、本プログラムの年度決勝に相当する「2023 Intel Startup Innovator Award」の表彰式が開催された。このアワードは、2023年度にIgniteに応募したベンチャー企業の中から選出された“トップ3”の優勝者を
概要 ビデオチャットのSkyWayに物体検出をいれて、リアルタイムで物体検出しながら ビデオチャットをする謎のビデオチャットです。 できたもの https://yolo-videochat.ga #ProtoOut pic.twitter.com/bjZZPddXEY — 3yaka (@3yaka4) June 11, 2020 概要 SkyWayで作ったビデオチャットに機械学習のTensorFlow.jsを優しーく包んでくれたml5.jsのYOLOを使って物体検出をさせ、PoseNetを使ってプライバシーを配慮した目線をかくすものをつけました。 人物に四角がついてその上にPersonと出て、左目から右目にかけて線が入ります。 1. SkyWayを使って webRTC Javascript SDK | API Reference | SkyWay(アプリやWebサービスに、ビデオ・音声通
はじめに 2019年のre:Inventで、Amazon Kinesis Video Streams (以後KVSと表記) に WebRTCを使ったリアルタイム通信が加わりました。 ブラウザ(JavaScript)向けのSDKだけでなく、組み込み用途のC言語SDKや、iOS/Androidといったモバイルアプリ向けのSDKがあるのが特徴です。 Web用SDK ... https://github.com/awslabs/amazon-kinesis-video-streams-webrtc-sdk-js 組み込みC用SDK ... https://github.com/awslabs/amazon-kinesis-video-streams-webrtc-sdk-c iOS用SDK ... https://github.com/awslabs/amazon-kinesis-video-st
ーー追記ここまでーー 先日、今色々と最前線で非常に頑張っているとある医療機関の先生から次のような相談を受けました。 ・発熱外来に来て診察室にいる患者さんと顔を見てお話をしたい ・診察室に入るスタッフを極力少なくするためにテレビ電話みたいなものが欲しい ・電子カルテのネットワークを使うとシステム管理者が良い顔をしない※ ・ZoomとかFacetimeでもいいのだがインターネットに出るのはプライバシーやセキュリティーの問題がありそうで決断ができない※ なんか良い方法はないか、と。 まあ※の部分は医療機関、特に病院とされるところではどこでも課題の大きな部分をしめていますね。 色々話をした結果、理想はこんなの、ということになりました。 明日でGWも終わりですね〜=3 友達もコンクリートジャングルに帰って行きました(´Д` ) 高知龍馬空港で懐かしいもの発見しました◎ ちっちゃい頃は従兄弟とコレで別
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く