1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
カオスエンジニアリングを導入したクックパッドの挑戦 マイクロサービス化に伴う可用性の低下に対応 - エンジニアHub｜Webエンジニアのキャリアを考える！
カオスエンジニアリングを導入したクックパッドの挑戦 マイクロサービス化に伴う可用性の低下に対応 料理のレシピ投稿・検索サービスのクックパッドでは2年前からカオスエンジニアリングに取り組み、さまざまな事例やノウハウを蓄積しています。クックパッドの技術部・SR（Site Reliability）グループの小杉山拓弥さんとDX（Developer Productivity）グループの鈴木康平さんに、導入の理由やさまざまな知見を伺いました。 カオスエンジニアリング（Chaos Engineering）とは、稼働中のサービスにあえて擬似的な障害を発生させることで、システムの耐障害性を検証する手法です。動画配信サービスを提供するNetflix社が2011年ごろから実践し、ソフトウェアや情報を積極的に公開したことで世界中から注目されるようになりました。 国内ではまだ導入事例も少ないなか、料理のレシピ投稿
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
推測するな、計測せよ フォージビジョンのエンジニアが教えるパフォーマンス改善に必要なログ分析
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。前半は、クライアント側から見たログ分析について。 Webサービスのパフォーマンスとログ分析 山口正徳氏：山口と言います。よろしくお願いします。今日はみなさんお集まりいただきありがとうございます。なんと現時点で参加いただいているのが303人。こんなに多くの方に参加してもらえるとは思ってもいなかったので、変な緊張感に包まれています。カミカミなところとかがあったりしても、そこはあたたかい目で見てもらえればなと思います。 また、ログ分析勉強会のオンライン配信は JAWS-UG 札幌の三浦一樹さんに協力いただています。配信環境の設営、配信レイアウトの作成な
Webサービスエンジニアが教えるサーバサイドのログ分析 情報を可視化して負荷状況を見よ
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。後半は、サーバーサイドから見たログ分析について。 サーバ情報を可視化して負荷状況を見る 続いて、サーバの負荷状況を見るところですね。リソースの情報をコマンドで取得してサーバ情報を可視化しましょうというところです。 よく使うのは、1つ目はhtopですね。htopでプロセスごとにどれくらいのメモリやCPUを使っているかを取っていくのがあります。リクエストが多いときにこれを取っていって、どこが重たくなっているかを見るというのがいいかなと思っています。 例えばアプリケーションサーバと同梱されているものだったりとかすると、アプリケーションサーバの負荷がいき
（前半）Kubernetesでのよくある失敗１０選 - ITnews
Marek Bartik Kubernetes、AWS、DevOpsをはじめ、インフラストラクチャーへの深い知識と情熱を捧げるソフトウェアエンジニア。NoOps/NoCodeのマニアでもある。 この記事は、著者の許可を得て配信しています。 https://blog.pipetail.io/posts/2020-05-04-most-common-mistakes-k8s/ 次の記事 （後半）Kubernetesでのよくある失敗１０選 私たちは長年のkubernetesを使ってきた経験の中で、かなりの数のクラスタを見る機会がありました（GCP、AWS、Azure上で管理されたクラスタと管理されていないクラスタの両方です）。そして間違いが何度も繰り返されているのを目にします。これは決して恥ずかしいことではありません。みんな同じように間違いを繰り返しているのですから。 そこで、今回は私たちがよく
落ちるのは日常茶飯事？ Webサービスの“死因”と対処策とは
鳴りやまない電話、天を仰ぐ上司、黙々と戦うエンジニア、そして5秒おきに「いつ直るんだ？」と聞いてくる偉い人――こんな「悪夢」、皆さんは経験したことがあるだろうか。2019年12月1日に開催された「PHPカンファレンス 2019」の講演「Webサービスのトラブルの現場～Webサービスの今と昔」では、ある日突然発生するさまざまなトラブルはなぜ起こるのか、そしてどう備えるべきかを、@soudai氏（オミカレ副社長、CTO《最高技術責任者》の曽根壮大氏）が経験を踏まえて紹介した。 「Webサーバはn度死ぬ」――主な4つの死因とは エンジニアならば誰だってWebサービスのトラブルは経験したくないものだ。だが残念ながら、トラブルは発生する。それも突然に、だ。サーバの負荷が急に跳ね上がったり、コネクションがあふれたりといったトラブルが、ホスティング環境の時代からクラウド全盛の現在までも変わらずに発生して
（ほぼ）無からのトラブルシューティング技法 - Qiita
闇の魔術に対する防衛術 Advent Calendar 2019 16日目の記事です。 イントロダクション デプロイ自動化、コンテナ型仮想化、マイクロサービス化などが進み、トラブルシューティングの難易度が意図せず上がっているケースがあります。 日常の開発作業でアプリケーションの設定やアクセス経路をほとんど意識しない コンテナが軽量すぎて ps や netstat すら入っていない Infrastructure as Code （なおドキュメントは存在しない） ログ管理の基盤はあるが、欲しいログが収集されていないか、ログ以外を調べたいので役に立たない 今回は、こうしたケースで 対象システムに熟知していなくても トラブルシューティングを進めていく方法について取り上げます。 スタート あなたは Linux サーバへの SSH ログインに必要な情報を入手し、ログインに成功しました。なんと root
AWS障害、どうすれば回避できた？ 冗長性はどこまで？ AWSのパートナー企業に聞く
AWS障害、どうすれば回避できた？ 冗長性はどこまで？ AWSのパートナー企業に聞く（1/2 ページ） 思わぬ大障害に発展し、復旧に時間を要したAWS東京リージョン。その回避方法はあったのか。これからの対応の指針とすべく、AWSの最上位パートナー認定を取得している企業に話を聞いた。 8月23日、Amazon Web Services（AWS）東京リージョンで大規模な障害が発生した。東京リージョンの1つのアベイラビリティゾーン（Single-AZ）で発生した障害で、Amazon EC2とAmazon EBSに影響があった。またAmazon EC2をベースにしてるであろうAmazon RDS、Amazon ALB、Amazon ElastiCache、Amazon Redshift、Amazon Workspacesなども影響を受けた。今回の障害では復旧までに時間がかかったこともあり、決済サー
RDBのトラブルの現場を追え！ / rdb-Troubleshooting
そーだいなる DBRE Nightでの登壇資料です https://connpass.com/event/138437/ # 紹介資料 - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://www.youtube.com/channel/UCeenIljXnSwrwYEU-YBE2qA/feed - https://speakerdeck.com/soudai/postgresql-architecture-and-performance-monitoring - https://gihyo.jp/dev/feature/01/dex_postgresql/0002 - https://lets.postgresql.jp/documents/technical/query_analysis/1 - http
実践的インフラ監視＆運用 - 4000万人以上のユーザーに快適なサービスを提供するピクシブの裏側 - エンジニアHub｜Webエンジニアのキャリアを考える！
実践的インフラ監視＆運用 - 4000万人以上のユーザーに快適なサービスを提供するピクシブの裏側 大規模サービスを安定運用するコツってなに？実運用に基づく知見をピクシブ株式会社のインフラエンジニア、末吉さんと小出さんに聞きました。 ピクシブのサービスを支えるサーバーは大部分がオンプレミス 監視はNagiosとMuninでシンプルに 多数のリリースを支える独自のデプロイ手法 運用上のスペックは開発者との綿密なやりとりで決める 開発者と“温度感”を共有したい システム運用は、生き物です。 人気が出ればリクエスト数は急上昇。経年劣化でサーバーが壊れることもある一方で、次々と新しいサービスも展開しなければなりません。規模が大きくなると、システムを障害なく運用することは至難のワザです。 大規模サービスを安定運用するコツは何か──その秘訣を探るべく、ピクシブ株式会社のインフラチームで活躍する2人に疑問
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い（1/2 ページ） このほど国内累計1700万ダウンロードを突破した、スマートフォンゲーム「Fate/Grand Order」（FGO）。2015年7月末にサービスを開始し、18年には年間約885億円を売り上げた（ファミ通調べ）ほどの人気ゲームに成長したが、ユーザーが爆発的に増える中、運営元のディライトワークス社内ではインフラエンジニアが戦っていた。 彼らが経験した戦いの1つは、18年7月に実施したデータベースの負荷対策だ。同社の甲英明さん（技術部 マネジャー）は「ゲーム画面上に『ゲームサーバが混雑しています』と頻繁に表示されたり、画面が『Loading』からなかなか切り替わらなかったり、遊びづらい状況が続いていた」と、当時の深刻な状況を振り返る。 「このままでは、ファンがゲームで遊べなくなる」
アプリケーションは全員で監視する - 「入門 監視」を読んだ - $shibayu36->blog;
最近話題になっていた「入門 監視」を読んだ。アプリケーションの監視をするための実践的なノウハウが詰まっていて非常に参考になる書籍だった。 入門 監視 ―モダンなモニタリングのためのデザインパターン 作者:Mike Julianオライリー・ジャパンAmazon この本では、アプリケーションを監視するための骨格となる考え方や、様々な層(フロントエンドからOSのメトリックまで)での監視の入れ方の実践的なノウハウ、さらには障害対応をスムーズに行うためのフローや障害の根本対応をチームで行えるようにするためのやり方まで書かれている。実践的なすぐに取り入れられるような内容が多く、「アプリケーションをどう監視したら良いか分からない！」「障害対応をもっとうまくやる方法はないのだろうか？」と思う人には参考になる部分が多いと思う。 個人的にこの本の中で一番良いなと思ったのは、 SREだけでなくアプリケーションエ
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
ZOZOTOWNシステムリプレイスの道のり/ ZOZOTOWN 更换云系统之道 - Speaker Deck
All slide content and descriptions are owned by their creators.
サービスを止めずにサーバを別のラックへ移動することに成功したので振り返る - Feedforce Developer Blog
こんにちは。lorentzcaです。 ⛺ 先日データセンターにある20台ほどのサーバを別のラックに移し替えるという作業を行いました。無事サービスを止めずに作業を完了出来たので、どうやってサービスを止めずに作業を完了できたのか振り返ってみようと思います。 そもそもなぜサーバを別のラックに移動する必要があったのか ざっくりとした段取り 物理的にラックの縮小が可能かどうかの調査 調査結果を元にチームメンバーと相談 データセンターと打ち合わせ 具体的な作業手順書の作成 実作業 まとめ そもそもなぜサーバを別のラックに移動する必要があったのか 5月末に弊社の RSSSuite というサービスが終了しました。 RSSSuiteの思い出 - 避難訓練 - Feedforce Developer Blog その結果、ラック内に未使用のサーバがけっこうな数発生しました。そこで使っていないサーバや機器を整理し
遅いクエリと向き合ったり、ログ基盤を刷新したり──Cybozu Meetup #6レポート - Cybozu Inside Out | サイボウズエンジニアのブログ
まいど！ コネクト支援チームの風穴（かざあな）です。 今回は、7月25日に開催した「Cybozu Meetup #6 大規模サービスを支える名脇役たち」についてレポートします。 Cybozu Meetupとは？ 「Cybozu Meetup」は、サイボウズのエンジニアとカジュアルに交流する場として企画している、ミートアップイベントです。会場はサイボウズのオフィス（今のところ東京と大阪）なので、社内の雰囲気や社員の様子を、実際に肌で感じて頂ける機会でもあります。 開催ペースは、東京オフィスは毎月1回、大阪オフィスは3カ月に1回となっています（今のところ）。これまでに、以下のようなテーマで計6回開催してきました。 ［02/27］Cybozu Meetup #1 フロントエンド（東京、大阪） ⇒ 開催レポート ［04/03］Cybozu Meetup #2 SRE（東京） ⇒ 開催レポート ［0
デブサミ2017「グランブルーファンタジーを支えるインフラの技術」講演メモ #devsumi - 元RX-7乗りの適当な日々
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レガシー化したアプリケーションをAWSを使って3ヶ月で刷新した話
ネットゲームデータベース設計むかしばなし、あるいはとんでもないMMORPGの設計の話: 不倒城