RubyKaigi 2日目[ruby][rubykaigi] - d.hatena.zeg.la
Ruby会議2日目に行ってきました 分散並列処理フレームワークfairy スピーカー 増田 創さん What's fairy? 分散処理を簡単にするミドルウェア ネットワーク環境を意識しない 複数サーバーに散らばったデータを高速処理 Ruby実装 汎用性が高いMap/Reduce以上の柔軟にプログラムが書ける Rubyならではの生産性の高さ なぜ分散処理? 大規模なデータを効率的に処理、分析できる企業が勝ち組となる MapReduceとは？ オリジナルはグーグル Map 入力データ->キーと値に分ける Reduce 同じキーで値をまとめたり? 上記を複数サーバで fairy同様な他の実装 starfish hadoop 現状ステータス 楽天社内ではα版 本番投入はしてない バッチ処理に試験投入 パフォーマンスに課題 fairy詳細 Filter I/F inputでデータを読み出し fil
![RubyKaigi 2日目[ruby][rubykaigi] - d.hatena.zeg.la](https://cdn-ak-scissors.b.st-hatena.com/image/square/72d0f876e1c02a1f344f440658fafc638511f3cd/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127044525658%2F17680117127044541071%2F1555521818)
本を読む 楽天でROMAとfairyの話を聞いてきた
火曜日のHadoopの話に続き、土曜日には「楽天テクノロジーカンファレンス」でROMAとfairyの話を聞いてきました。fairyはようするに楽天版MapReduce、ROMAは楽天版memcached（よりストレージ寄り）という感じのソフトです。 以下、メモ。 レコメンド＆パーソナライゼーション（楽天技研 西岡氏） （emasaka注：これはROMAとfairyのセッションの直前のセッションだけど、関連性が強いので、関連する部分のみ切り出し） 楽天でレコメンデーションをやる場合、規模が膨大という特徴がある。何千万もの会員と2,500万の商品の組み合わせ。その対策として、Locality Sensitive Hashingなどアルゴリズムを改良すると同時に、多数のマシンを組みあわせている。そのために、現時点ではHadoopを使ってMapReduce処理をし、k-meansのクラスタリングや
楽天も情報爆発しています - 武蔵野日記
楽天テクノロジーカンファレンスには行かれなかったのだが、大規模分散処理フレームワークの設計、実装が進行中 -- 楽天版MapReduce・HadoopはRubyを活用などを読むと、けっこうおもしろそうだったのだな、と分かる。 楽天技術研究所がどういう位置づけなのかは分からないが、こういう基盤技術の開発を支援しているというのは評価していいと思う。(車輪の再発明という気がしないでもないが) 個人的な興味としては楽天が大規模データに対してどういうことをしているかということなのだが、記事を見るといろいろ書いてある。 計算モデルがシンプルでも規模が巨大になるとまったく別の問題が生まれてくる。処理すべき情報量が爆発的に増加しているからだ。 例えば協調フィルタリングではユーザーを縦軸に、商品アイテムを横軸にした購買履歴マトリックスについて計算処理を行う必要があるが、あまりに量が多く、素直に実装すると「2
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
