[Github Universe 2016]巨大なGitHubを支える3点分散システム「Spokes」とは?
レポート [Github Universe 2016]巨大なGitHubを支える3点分散システム「Spokes」とは? 世界中で使われているGitHub。そのリポジトリの総数は3800万、Gistの総数は3600万を超えている。このような大規模システムはどのような仕組みで構築されているのだろうか。Githubが9月13日から15日にかけて開催した年次イベント「GitHub Universe 2016」で、同社のGitインフラストラクチャエンジニアリングマネージャであるPatrick Reynolds氏が発表した内容からその仕組みを解いてみる。 データ複製の仕組みを変更 GitHubは最近、インフラストラクチャの構造を変更したそうだ。これまで、ファイルサーバに配信されたデータはいわゆるRAIDのような技術を使って複製が行われていた。これをアプリケーションレベルでのレプリケーションとなる分散型
![[Github Universe 2016]巨大なGitHubを支える3点分散システム「Spokes」とは?](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6ca22b1617eaf18cdc50c4cea7ac5d99bfaaa3b/height=288;version=1;width=512/https%3A%2F%2Fnews.mynavi.jp%2Ftechplus%2Farticle%2F20160923-githubuniverse5%2Findex_images%2Findex.jpg)
スカスカのデータから知見を見出す救世主？--「スパースモデリング」とは何か
ビッグデータという甘い幻想 データを使うプロ野球監督であった野村克也氏は、「野村ID野球」と称して、野球という競技内での自身の経験だけでなく、そのシーズン内での各選手やポジションごとに分析したデータを利用し、チームを勝利に導く方法論で一世をなびかせた。それまでに蓄積された膨大な経験を無駄にしない姿勢が見て取れる。選手やチーム、試合内容に向けてちょっと釘を刺す「つぶやき」も彼の本質を見抜く鋭い観察眼を伺わせる。 データをとりまく環境も変わりつつある。新しいソフトウェアをインストールするたび、新しいソーシャルメディアネットワークサービスに登録するたび、「情報の送信を許可しますか」という問いかけが繰り返される。取得された情報からサービスの不具合を察知するだけでなく顧客の動向・趣向を調査することで次なる戦略を立てるためだ。 「ビッグデータ」というキーワードが登場してから時代は変わり、取得したデータ
#isucon 5 予選、惨敗でした | へぼい日記
毎年でているISUCONに今年も山形組として参加してきました。 今年もオンライン予選があり、9/26(土)の一日目に参加し結果は最高スコアが3000を少し超えるぐらいで惨敗でした。 簡単に何をしたのかをまとめると 事前作戦会議 チーム数多いしボーダーあがって厳しいことになるだろうしトップ狙うつもりでやらないとだろうなとは思ってます イチかバチかで飛び道具でも使って普通じゃないことをやらないと勝てないと思い込み kazeburoさんのこの時のエントリなどを読み込み脳内素振りを繰り返す。 当日 11:00 動作確認、コードリーディング 11:30 apt-get update;apt-get dist-upgrade;apt-get install xxx,xxx,xxx & reboot diskがroの罠にはまる。解決策はわからず、instance作り直し 12:30 第一回作戦会議 今回
Goのガーベジコレクタを視覚化するツール | POSTD
（環境変数GODEBUGは、 ランタイム パッケージで提供されています） この環境変数を指定してプログラムを起動すると、標準出力に以下の追加出力が出力されます（少し簡略化されています）。 % env GODEBUG=gctrace=1 godoc -http=:6060 ... gc76(1): 2+1+1390+1 us, 1 -> 3 MB, 16397 (1015746-999349) objects, 1436/1/0 sweeps, 0(0) handoff, 0(0) steal, 0/0/0 yields gc77(1): 2+0+1582+1 us, 2 -> 4 MB, 14623 (1016248-1001625) objects, 1436/0/0 sweeps, 0(0) handoff, 0(0) steal, 0/0/0 yields scvg0: inuse:
強固なデータ・インフラストラクチャを構築するためのログの活用（デュアル書き込みがダメな理由）PART 1. | POSTD
これは Craft Conference 2015 で私が行った 講演 を編集して記事にしたものです。その時の 動画 と スライド もご覧頂けます。 あなたのデータベースは、どのようにして確実にデータをディスクに保存しているのでしょう？ ログを使っているのです。 データベースのレプリカは、どのようにして他のレプリカと同期するのでしょう？ ログを使っているのです。 Raft などの分散アルゴリズムはどのようにして合意を取っているのでしょう？ ログを使っているのです。 Apache Kafka などのシステムでは、アクティビティデータはどのように記録されるのでしょう？ ログを使っているのです。 あなたのアプリケーションのデータ・インフラストラクチャはどのように規模相応の堅牢性を保つのでしょうか？ 答えは･･･ ログは至るところにあります。私はプレーンテキストのログファイル（syslogやlog
現在のログ解析基盤 - wyukawa's diary
1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。 以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos周りはだいぶ良くなって Cognos 10.2.1 + Prestogres 0.4.8 + Prestogres ODBC Driver から Cognos 10.2.2 + Prestogres 0.6.7 + protocolVersion=2だけ使用するようにpatchしたPostgreSQL JDBC Driver に変えました。 patchって言っても1行コメントしただけ。ここ。 https://github.com/pgjdbc/pgjdbc/blob/REL9_3_11
問合せの最適化
問合せの最適化 TopLinkでは、データの読取り、書込みおよび更新用の問合せAPIを幅広く提供しています。この項では、様々な状況における問合せのパフォーマンスの最適化の方法について説明します。 問合せを最適化する前に、「データ・アクセスの最適化」で最適化の提案について検討してください。 この項では、次の内容について説明します。 パラメータ使用のSQLとプリコンパイルされたSQL文のキャッシュ 名前付き問合せ バッチ読取りと結合読取り 部分オブジェクト問合せとフェッチ・グループ JDBCフェッチ・サイズ カーソル付きストリームとスクロール可能カーソル 読取り最適化の例 書込み最適化の例 パラメータ使用のSQLとプリコンパイルされたSQL文のキャッシュ これらの機能を使用すると、問合せが再実行された際に、事前に解析された問合せデータベース文をキャッシュおよび再利用できます。 詳細は、「パラメ
関数型プログラミング入門 | POSTD
多くの関数型プログラミングに関する記事が教えてくれるのは、抽象的な関数型のテクニックです。つまり関数合成やパイプライン、高階関数などです。この記事では違います。ここでは、プログラマが毎日書く、命令型で非関数型のコードの例を示し、それを関数型の形式へ書き換えます。 最初のセクションでは、短いデータ変換のループを取り上げ、map関数やreduce関数に書き換えていきます。2つ目のセクションではより長いループを取り上げ、ユニットに分解し、それぞれのユニットを関数型に書き換えます。3つ目のセクションでは、連続した長いデータ変換のループを関数型のパイプラインに分解します。 ここではPythonでの例を取り扱います。というのも多くのプログラマはPythonを読むのは簡単だと思っているからです。多くの例では、mapやreduce、パイプラインなどの多くの言語に共通する機能を例示するため、Python的な
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
そんなにビッグでもないデータ処理手法の話 - YAPC::Asia Tokyo 2014
ビッグデータという言葉が取り上げられるようになって久しいですが、実際どういう処理をどういう方法で実現するの、という総括はあまり行われていない気がします。 このトークでは、ペタバイト級データはちょっといま手元にないんで、という人のために、GB級からTB級までの「あんまり大きくないデータ」に着目して、近年充実してきた手法およびそれを実現するミドルウェア・プラットフォーム・フレームワークを紹介し、またそれらの中でPerlやその他の言語がどう使われているかをざっくりと解説します。
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
fluentd tailプラグインの仕様について - oranie's blog
ウィークリーFluentdユースケースエントリリレー #1の記事です。 fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容＋以前教えてもらった内容をまとめてみます。 公式ドキュメント：http://fluentd.org/doc/plugin.html#tail Github：https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/in_tail.rb tailプラグインはLinuxコマンドで言う「tail -F」と同じような挙動を取る事により、ファイルに追記された情報をfluentd内に取り込む事が出来ます。追記されたかどうかはIOイベントを読み取って動作します。 簡単に説明すると 1)新規に設定されたファイルは終端から読む 2)ログローテーションされたら次のフ
データの科学--勘に頼らない意志決定を
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 最近、巷ではビッグデータやデータサイエンティストという言葉をよく目にします。2013年7月16日には一般社団法人データサイエンティスト協会が発足し、データサイエンティストに必要となるスキルや知識を定義し、育成カリキュラムを作成するなど、高度IT人材の育成と業界の発展に向けた活動も展開しています。 しかし、期待の大きさからか求められるスキルレベルは非常に高く、Hadoopなどのインフラ技術から統計・機械学習などの専門知識、コンサルティング能力までを求められるケースが多く、なかなか担い手が増加していないのが現情です。 高度な分析を実施するのであればプログラミングや数学などの知識を避けることはできません。本連載では、一般のビジネスマンがデータ
クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった - あんちべ！
はじめに クリスマスはいつものように全く予定無かったあんちべです、こんばんは！ 皆様はクリスマスをお楽しみになられましたでしょうか？ 「今yesと答えた奴ら全員地獄に堕ちろ」ってサンタさんにお願いしておいたからな。 さて、世間のリア充様がクリスマスで浮かれまくりやがっていらっしゃる中、 やること無さ過ぎていつものようにpixivで腐女子向け作品を眺めていたところ、 ありがたいことに寂しさを感じる暇もない勢いでどんどん作品が投稿されていました。 ハッピーですね！ …………？ クリスマスの真っ只中に腐女子絵を投稿している…だと！？ クリスマスと言えば皆さんお楽しみのはずでは？ いや、クリスマスの夜にむしろ投稿数が増加しているような気が…？ という疑惑を抱いたので、実際データを色々眺めてみましょう。 データの説明 データはpixivから下記タイトルで検索した結果を12/26の午前中時点で 各々1
IDの設計についてのさらに突っ込んだ議論
今日も前回に引き続きデータベース設計の話をする。今回の話で一旦データベース設計については筆を置くつもり（ブログ書いてないで原稿書けよ＞俺）であるが、その前に話をすっきりさせて置きたいと思う。最後を飾るテーマはIDの設計である。 数字しかないのに意味を含んだID前回のエントリを見ていただいた方から、次のような構造を持った学籍番号があるというフィードバックを頂いた。 全部数値で"入学年度下2桁"+"学科コード"+"学科内のあいうえお順の順位" このようなルールで割り当てた学籍番号を、単なる数値として扱うのであれば大きな問題はない。これは数値しか含まれていないので、SQLのデータ型としては単に数値型を使えば良いだろう。だが、学籍番号から入学年度を判断する、あるいは学科を判断するといった用途で使われるのであればやはり適切ではないといえる。リレーショナルモデルの観点だけからではなく、IDとして適切で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
失敗から学ぶ�データ分析グループの�チームマネジメント変遷
サービス終了のお知らせ
『Cassandraのデータ設計で注意していること』
Scala による自然言語処理
並列データベースシステムの概念と原理
