2012/12/7にComSysで招待講演した際のプレゼン資料です。2013/1時点でのJubatusに関する全部入り資料になっています。 概要:Hadoopは非常に成功した大規模データの分散処理基盤である一方、データを貯めないリアルタイム処理や、統計的な手法で知見や予測モデルを得る機械学習技術のサポートは限定的である。Jubatusは、それらHadoopに足りない「分散・リアルタイム・機械学習」を実現するためのOSSフレームワークとして2011年にリリースされた。その技術的特徵は、オンライン学習アルゴリズムを分散化し、かつ分散環境でコストの高いデータ共有を排除してコンパクトな機械学習モデルのみを緩やかに共有するMix操作を中心とした計算アーキテクチャを採用していることにある。本講演ではその動作原理を中心にJubatusの裏側を紹介する。
「Jubatus Casual Talks」という、Jubatus開発者主催のイベントに参加してきました。イベントの詳細は下記ページを見てください。 Jubatus Casual Talks #1 ほとんどTwitter(Jubatus公式 @JubatusOfficial)での告知のみのようでした。 運営の方の説明によると、Jubatusの利用者に発表してもらうのは今回初めての試み、ということでした。(故に「Casual Talks #1」なのでしょう。) 以下に関連情報をまとめておきます。 関連ツイート(#jubatuscasual) : https://twitter.com/search?q=%23jubatuscasual 当日のUstream : http://www.ustream.tv/new/search?q=JubatusCasualTalks%231&type=a
PFI、リアルタイム処理を重視したビッグデータ分析ソフト「Sedue for BigData」を6月発売 プリファードインフラストラクチャー(PFI)は2013年5月20日、リアルタイム処理を重視したビッグデータ分析ソフトウエア「Sedue for BigData」を発表した。1秒当たり数千~数万件送られてくるデータに対してリアルタイムでインデックスを作成し、データに対する分析を可能にする。最小構成価格は3000万円からで、6月20日に発売する。 PFIが今回発表したSedue for BigDataは、同社が従来から販売する検索ソフト「Sedue」をベースに様々な機能を追加した新製品となる。Sedueは今後も販売する。検索ソフトのSedueが、ドキュメント検索を対象とした製品であるのに対して、「Sedue for BigDataは、サーバーのログデータやセンサーデータなど、流れるようにや
学習モデルのバックアップとリカバリ¶ サーバープロセスは、メモリ上で機械学習に関するデータを管理しています。 メモリ上でデータを管理するという性質上、サーバープロセスの終了とともに Jubatus 上のデータは失われます。 Jubatus では、予期せぬプロセスの終了や誤ったオペレーションに備え、バックアップとリカバリのための機能を提供しています。 現在、Jubatus では、以下の手段を提供しています。 Save and Load¶ サーバープロセスの学習モデルをファイルに保存し、そのファイルを読み込むことで、サーバープロセスの学習モデルを復元する機能です。 Jubatus では、この機能をクライアント向けに MessagePack-RPC インタフェースで提供しています。 現在、学習モデルを保存した環境と異なる環境(Jubatusのバージョン、クラスタ構成台数、configファイルの内
3月29日(土)、セキュリティ勉強会に参加するため、香川の高松に行ってきました。一番の目的はメインセッションであるFFRI 村上純一さんの「ビッグデータ分析によるマルウェア検知・分析への挑戦」です。真面目な勉強会の参加は初めてだったので緊張しました。 セキュリティうどんのご紹介 セキュリティうどんの主旨はこーんな感じ。なんかとっても真面目そうなイメージを受けました。運営スタッフさんは「セキュリティ系勉強会一のゆるい勉強会」だと言ってましたけどねw セキュリティうどんの主旨 香川県をメインに、セキュリティ啓蒙、システム管理者スキルアップ、 ユーザーのボトムアップを目的として勉強会を実施します。 また、「四国情報セキュリティ勉強会連絡会」を通じて、四国地方の技術者育成と、一般ユーザの情報セキュリティに関する意識向上を目指します。 今回の勉強会のテーマはこちら。 1. 自己紹介(参加者全員!)
Jubatusハンズオン 分散編プレゼン資料です。 テキストは、 http://download.jubat.us/event/handson_03/text/ を参照してください。
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)Kotaro Nakayama
いままでのJaSSTnanoLT動画を振り返る&おススメしたいの! / Looking back and recommend on the JaSSTna...AikoSawada1
Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...Toshiki Sakai
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く