How Twitter Stores 250 Million Tweets a Day Using MySQL - High Scalability -
Jeremy Cole, a DBA Team Lead/Database Architect at Twitter, gave a really good talk at the O'Reilly MySQL conference: Big and Small Data at @Twitter, where the topic was thinking of Twitter from the data perspective. One of the interesting stories he told was of the transition from Twitter's old way of storing tweets using temporal sharding, to a more distributed approach using a new tweet store c
Open Sourcing Twitter Heron
Last year we announced the introduction of our new distributed stream computation system, Heron. Today we are excited to announce that we are open sourcing Heron under the permissive Apache v2.0 license. Heron is a proven, production-ready, real-time stream processing engine, which has been powering all of Twitter’s real-time analytics for over two years. Prior to Heron, we used Apache Storm, whic
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
いかにしてデータは人を騙すのか
テレビ、新聞、ネット、世の中にはたくさんの情報が氾濫していますが、そのほとんどが偏ったデータであると考えるべきです。情報を取捨選択するには、まずは疑ってかかることが重要です。 たとえば、テレビ番組などでよくある「渋谷で100人に聴きました」なんてツッコミどころが満載です。そもそも、100人という分母が少なすぎますし、渋谷が日本全体の縮図とは限らないのです。渋谷と秋葉原で恋愛に関する質問をした時、同じ結果が得られるでしょうか？やってみなきゃ分りませんが。 このように、世の中には偏った情報が溢れかえっています。今回は、統計などのデータを利用した印象操作について書いていこうと思います。 グラフを使った印象操作 ある情報をグラフで提示する時、グラフの描き方一つで全く異なる印象を与えることができます。下のグラフを見て下さい。 縦軸を０から描いたグラフです。このグラフですと、売上の伸びがイマイチな印象
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
