コラム：グーグルのクラウドを支えるテクノロジー｜CTC教育サービス 研修/トレーニング
グーグルのクラウドを支えるテクノロジー グーグル・クラウド・ジャパン合同会社 中井悦司氏によるグーグルクラウドに関連する技術コラム 筆者：中井悦司／グーグル・クラウド・ジャパン合同会社 Cloud Solutions Architect プロフィール： 1971年大阪生まれ。予備校講師から転身、外資系ベンダーでLinux/OSSを中心とするプロジェクトをリードする傍ら、多数のテクニカルガイド、雑誌記事などを執筆。 その後、Linuxディストリビューターのエバンジェリストを経て、現在は、Cloud Solutions Architectとして活動。 2023年11月 第162回 Googleのデザインレビュープロセス改善ツール（パート1） New! はじめに 今回からは、2023年に公開された論文「Improving Design Reviews at Google」を紹介します。この論
#finagle_hack で ZooKeeperServerSetCluster を使ったデモをつくりました - seratch's weblog in Japanese
ZooKeeperServerSetCluster を使って Finagle サーバのクラスタをつくってみました。 まずはデモをご覧ください。発表会のときに動画を用意しておけばよかったのですが、そこまで手が回りませんでした。 個々の Finagle サーバはそれぞれ単体のサーバとして立ち上がっているだけであり、サーバ側でお互いを意識している訳ではありません。 Finagle クライアント側に ZooKeeper への接続設定と、サーバの接続先（java.net.SocketAddress）情報のリストを持たせます。これらの情報を ClientBuilder で渡すと、リクエストのロードバランシングや障害検知、フェールオーバーなどをよしなにやってくれるようになります。 今回のデモのソースコードは GitHub で公開しています。ZooKeeper さえ起動していれば割と簡単に動かせると思いま
Parallel Pythonで分散処理
Erlangでなくて、Pythonで分散処理を書く意義はなんだろうかと考えた。 Erlangはたしかに分散処理が得意なんだろうけど、いろいろ調べた感じでは、複雑な数値計算などの分散処理には向いていないというウワサだ。良く知られているTwitterや通信の例のようなシンプルな処理を膨大な量さばくにはいいようだけど。 計算を分散で行う場合、本来はGoogleが採用しているように、C++をベースにすべきだろう。 （ただし、GoogleではSawzallという独自言語で記述し、それをC++に変換して実行するそうな。） そうなると、「なぜPythonで分散処理？」というのが重要になる訳だが、おそらく以下のようなことだろうか。 既存の豊富なモジュール（しかも多くはCで書かれている）を使える。C、C++で書かれたルーチンをswig等でPythonに連結し、それを分散させれば、実質C、C++で実行している
TwitterがCassandraを使った理由と移行方法
「才能を非生産的な事に浪費してこそ、真のヲタクである」 この名言にかなう為に日々色々学ぶ日々(多分)。 相変わらずの意訳な上に要点のみの抜き出しです。 間違っていたらTwitterでもコメントでいいのでがんがん指摘してください。 =============== Twitterではデータ量、データ増加量が急加速している。 今まではMySQLとmemcashedで運用してきたが、特に運用要員の面で費用が莫大になってしまった。 その為により自動的でより高い分散容易性、より高い可用性を必要とした。 選択肢として上ったのが下記の二つ。 ・MySQL Clusterの今以上の自動化 ・KVS(HBase、Voldemort、MongoDB、MemcacheDB、Redis、Cassandra、HyperTable)への移行 次の検証を行う事で選択肢の絞り込みを行った ・新規Node追加の容易性 ・SP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TokyoWebMining#18_nukamu
ビッグデータ時代の企業における課題(EnterpriseZine) - goo ニュース
