スケーラブルな採番とsnowflake — Kyrt Blog
snowflake は、Twitter 社が作成した、ユニークなID生成のネットワークサービスです。いくつかの簡単な保証で高いスケーラビリティを実現しています。Twitter 社が、MySQLから Cassandra に移行するにあたって、Cassandra にシーケンシャルな id 生成の仕組みが無かったことから作成したそうです。 snowflake についてはTwitter IDs, JSON and Snowflakeに書いてあります。 snowflake のコードは、Apache License, Version 2.0 でSnowflakeに公開されています。 スケーラブルな採番、背景的な話 Cloudでスケーラビリティのあるサービスを見据えてコードを書いていると採番に関する問題が必ず出てきます。従来、RDBの自動採番などに頼っていたのがコスト、スケーラビリティ、耐障害性の観点か
Snowflake的なID生成方法
作っているプログラムでランダムなIDが必要となったため、ちょっとリサーチしました。久しぶりにJavaでコードを書いています。 UUID 完全に分散した環境で使用するのには、UUID(Universally Unique Identifier)が最適です。1IDあたり16バイトの容量が必要となる点をのぞけば、理想的なIDと言えると思います。ただIDは大量に使用されるので、16バイトというサイズはちょっと気になります。 Snowflake SnowflakeはTwitterが使用しており、Apache Licenseで公開しているID生成方法です。ある程度分散した環境でも、1IDあたり8バイトの容量で利用できます。また非常に重要な特徴としてIDの先頭部分にタイムスタンプ利用しており、生成されたIDはある程度時系列に並びます。8バイト、つまり64bitを下記のように振り分けて使用します。 先頭4
Twitterのstatus IDの仕組みが変わる
これ一部の人にとっては大きな変化かもしれないんだけど あまり話題になってるのを聞かないし 検索しても日本語の情報が見あたらなかったので書いておきます。 2010年の9月21日から Twitter の status ID の仕組みが変わる模様。 Status IDs are changing on 21st September – Twitter Development Talk | Google Groups これは Twitter のデータを扱うシステムを MySQL から Cassandra へ移行することによるものみたい。 Cassandra にはユニークな ID を生成する仕組みがないので、 status ID のようにソート可能な ID を利用するため 新たに Snowflake を導入するとのこと。 上記リンク先に細かいことが書かれてるんだけど、 これに関連する重要なポイントを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
