Bye, Amazon
May 1st was my last day as a VP and Distinguished Engineer at Amazon Web Services, after five years and five months of rewarding fun. I quit in dismay at Amazon firing whistleblowers who were making noise about warehouse employees frightened of Covid-19. What with big-tech salaries and share vestings, this will probably cost me over a million (pre-tax) dollars, not to mention the best job I’ve eve
概要 ビデオチャットのSkyWayに物体検出をいれて、リアルタイムで物体検出しながら ビデオチャットをする謎のビデオチャットです。 できたもの https://yolo-videochat.ga #ProtoOut pic.twitter.com/bjZZPddXEY — 3yaka (@3yaka4) June 11, 2020 概要 SkyWayで作ったビデオチャットに機械学習のTensorFlow.jsを優しーく包んでくれたml5.jsのYOLOを使って物体検出をさせ、PoseNetを使ってプライバシーを配慮した目線をかくすものをつけました。 人物に四角がついてその上にPersonと出て、左目から右目にかけて線が入ります。 1. SkyWayを使って webRTC Javascript SDK | API Reference | SkyWay(アプリやWebサービスに、ビデオ・音声通
自分の作業机は正面に27インチディスプレイを置いてノートPCはその脇に置いてるんだけど、Zoom とかのオンラインミーティングで顔出しする時にPCのカメラだと斜めからの映像になって良くないなーと思ってて、Webカメラつけるのもいいかと思ったんだけど今品薄だし、そういえばAndroidスマホをPCのカメラにできるというのをどっかで読んだ気がする。 …ということで、テキトーに「linux android webカメラ」とかでググると、ケータイWatchの記事が見つかった。 k-tai.watch.impress.co.jp DroidCam という Android アプリを使えばできるらしい。 試してみたらできたんだけど、 フロントカメラが使えない adb で繋ごうとすると Linux のクライアントアプリが落ちる …ということでやめ。 Google Play で「linux webcam」で
AVAudioSessionの深い話
アドベントカレンダーを毎日書くやる気はないので毎週 1 つ記事あげます。 今回は iOS でおなじみの AVAudioSession の話です。 AVAudioSession では端末のオーディオの振る舞い方を制御することが出来ますが、あまり知られていない機能がいくつかあるのでご紹介します。 Modehttps://developer.apple.com/documentation/avfoundation/avaudiosession/mode 通常は default を選択すると思いますが、このモードは振る舞い方が一部変わります。 例えば voiceChat/videoChat を選ぶと、Voice Processing I/O を使うようになるので、ノイズキャンセリングが有効になるため、VoIP で使うケースでは大変重宝します。 ちなみに VPIO を有効にすると、iPad Pro
ビデオチャットアプリを作る ( WebRTC + Node.js + Socket.IO ) WebRTC と Node.js と Socket.IO を用いて、ビデオチャットアプリを作成する方法を解説します。 WebRTCは、JavaScript APIの一つで、リアルタイムP2P通信を提供します。WebRTCを利用すると、ウェブブラウザをクライアントとして、２つのクライアント間で、映像や音声や独自データをリアルタイムに送受信するウェブアプリケーションを作成することができます。 RTCは、 Real-Time Communicationの略です。 使用開発環境は、以下です。 Node.js : version 10.16.3 Express : version 4.17.1 Socket.IO : version 2.3.0
【連載①】生成AIのマルチモーダルモデルでできること -タスク紹介編- - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、生成AIの中でも、テキスト、画像、動画、3Dデータ、オーディオデータ、モーションなど多岐にわたるマルチモーダル系のタスクについて、全2回の連載でご紹介します。 こんにちは、アナリティクスサービス部の八登です。 昨今話題をさらっている生成AIですが、ChatGPTのようなテキストベースのタスクだけでなく、マルチモーダル系のタスクにも大きな関心が集まっています。 ここでマルチモーダルとは、AIが同時に複数の形式を扱うことができる、ということを指します。 モー
メモ：お手軽にWebRTCでVideoChatをしたいので、Janus-gatewayをAWS EC2やRaspberry Pi4上に立てたときのメモ - cvl-robot's diary
(まだ書きかけ） 今、ネットワーク越しに動画データを送りたいと考えたときに、どうしてもWEBRTCがその候補に挙がってきます。WEBRTCのライブラリやサービスは山のようにあるのですが、進歩が速いことを理由に行き届かないことが多くて、どれもこれも中途半端で問題だらけです。 まずWEBRTCが何なのかを把握するために、次の4つぐらいの区別が付くようにしとく必要が有ります。 ・WEBRTC(P2P)： １対１で繋ぐとき。（もともとの設計。簡単。） ・WEBRTC SFUサーバー： サーバーを中心の媒介として複数間をつなぐとき (･WEBRTC MCUサーバー)： サーバーを中心の媒介として処理をさせつつ複数間をつなぐとき。使う機会はあまりなさそう。 ・WEBRTCクライアント： ユーザーがWEBRTCを使うときのインターフェース インターネットに繋いでNAT越えをするときには、次も知っておく必
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SkyWayを使ってリアルタイム物体検出つきビデオチャットを作る - Qiita
AndroidスマホをLinux PCのカメラにする - tmtms のメモ
ビデオチャットアプリを作る ( WebRTC + Node.js + Socket.io )