わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48
大規模サービスを支えるネットワークインフラの全貌
わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48
ミドルウェア性能検証の手引き | 外道父の匠
インフラエンジニアの多分、華形のお仕事の１つであるミドルウェアの性能検証を久々にガッツリやる機会がありましたので、検証作業の基本的な項目について初心から振り返っておきたいと思います。読みやすさ度外視の詰め込み記事注意警報です。 世の中、雑な検証結果もちょいちょい散乱していて、私自身もそうならないよう注意を払っているわけですが、ガチでやると気をつける項目が多くて、自分で忘れたりしないようにと、誰かにやってもらいたい時に基本を抑えてから取り掛かってもらうために、形にして残しておこうと思った次第であります。 目次 なぜ性能検証をするのか 環境の準備 インスタンスの用意 クライアントの用意 サーバーの用意 ボトルネックになりうる項目 CPU Utilization Memory Network Bandwidth Disk Bandwidth Disk IOPS Disk Latency Disk
ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと - ゆううきブログ
この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談
インフラエンジニア向けシステム系論文 - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2014の23日目とシステム系論文紹介 Advent Calendar 2014の23日目を兼ねています。 今回は、インフラエンジニア向けにシステム系論文を読むということについて書きます。 ここでいうインフラエンジニアは、Webサービスを作る会社のサーバ・ネットワーク基盤を構築・運用するエンジニアを指しており、はてなではWebオペレーションエンジニアと呼んでいます。 人が足りなくて普通に困っているので採用にご興味のある方はぜひこちらまで。 SRE (Site Reliability Engineer) 職 - 株式会社はてな はてなでは、id:tarao さんを中心に有志で論文輪読会を定期的に開催しており、システム系論文にかぎらず、言語処理系、機械学習についての論文などが読まれています。 だいたい１人でインフラまわりの論文を読んでいて、インフラ
「Webエンジニアが知っておきたいインフラの基本」という書籍が発売されます！ - netmark.jp
突然ですが Webエンジニアが知っておきたいインフラの基本 ~インフラの設計から構成、監視、チューニングまで~ という本を書きました。 2014/12/27に発売予定です。ぜひ購入してください！そして年末年始に熟読してください！ぜひ！ ※2015/2/1頃にKindle版も出ました！ 1〜4章は特にインフラに触れたことがない方向けに基本的な内容を、5〜8章はそれだけでなくインフラ初級〜中級のISUCON決勝に残れなかったくらいの方まで広く読んでいただきたい内容になっています。 私はWebシステムの監視・障害対応という職業柄、再現性の高い方法論を言語化してつくるようにしてまして、本書にはそれをたっぷり詰め込みました。 ISUCONやtuningathonでコンスタントに短時間でそれなりの成績を出せてきたのはこの本に書いたような方法論が背景にあるんです。 この本に書いてあることをきちんと実践で
知らぬはエンジニアの恥。今さら聞けない【コンテナ/仮想化技術】11選 - paiza times
Photo by Sam MacCutchan どうも後藤です！ もう10年以上になるでしょうか･･･ とにかくなんでもかんでも仮想化すればよいというこの風潮。paizaでも仮想化技術は大活躍中。インフラは仮想化技術の上に構築されているし、もちろんコードの評価環境だってばりばりの仮想環境上です。仮想環境ばっちこーい！ いったいいつからこんな流れになったんでしょう？どこに基準を求めるかでだいぶかわりますけれども、執筆現在から考えると、こうした流れには35年くらいの歴史があります。使われる仮想化技術は時代とともにかわってきました。だいたいどの時代にも流行ってものがありました。 最近（2014年ごろ）の流行とえば、インフラの一番下にハイパーバイザを入れて、その上でDockerを動かして、管理にはChefやPuppetを使うといったものです。数年経てば状況は変わるでしょうけれども、とにかく楽をした
すでにGoogleは全部のソフトウェアをコンテナに乗せており、毎週20億個ものコンテナを起動している
Google Cloud Platform担当のシニアスタッフソフトウェアエンジニア Joe Beda氏が先週公開したスライド「Containers At Scale」は、「Everything at Google runs in a container」（Googleでは全部をコンテナで実行している）と説明するページがあります。Everythingがわざわざ太字で強調されています。 つまり私たちが利用するGoogleのすべてのサービスも、Googleの社内で使われているツールもすべて、すでにGoogleではDockerのようなコンテナ型仮想化技術の上で実行されているということのようです。 「We start over 2billion containers per week.」（私たちは毎週20億個以上のコンテナを起動している）とも書いてあり、Google内部ではすさまじい数のコンテナが
Linuxサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - たごもりすメモ
完全に このエントリ のネタパクりです。すいません。 何に使われてるかわかったもんじゃないマシンとか開発用サーバとかだと超巨大なバイナリとか置いてあるかもしれませんが、プロダクション用のサーバでそういうことは無いとしましょう。 その場合、原因はだいたい以下のどれかです。www/appとdbが別マシンに分かれてる場合は更に絞り込めますね。 wwwサーバやappサーバ ログ 圧縮してあるが保存世代数が多くて厳しいケース 圧縮し忘れてるケース 圧縮どころかローテーションすら忘れてて1ファイルどかんと存在するケース ローテーションがうまくいかなくて deleted ファイルなケース tmpデータなど(app) キャッシュサーバのディスクキャッシュ dbサーバ データ実体 (ib_data) バイナリログ ログの場合でも、ディスク上のどこにログが書かれてるかは色々なパターンがある可能性がありますね。
これからはじめるインフラエンジニア 発表資料 | 外道父の匠
新卒採用のイベントで『知的ヘンタイ六番勝負』というのをやっていまして、その『第三戦 大規模インフラ・解析勉強会』にてインフラについて話してよ、と人事オファーをいただきまして発表した次第でございます。 エンジニア志望とはいえ、不特定多数の人間に対してインフラの話と一口で言われても、誰が何をどれくらい理解してるのかわからないので厳しい案件ではありましたが、せっかく来ていただくので真面目に張り切った結果、質疑応答含めて１時間弱に渡る発表＋風邪でノドが潰れた資料がこちらになります。 補足 新卒の方々に向けて これまで新卒の人に関わる機会がなく、インフラについてどの程度理解があるのか全くの不明でしたが、思っていたより勉強しているなという感触と、良いエンジニアになれそうな匂いを発している野郎も結構多かったな、という印象でした。 資料でも触れてますが、WEBエンジニアを目指した時に、何を武器に何エンジニ
mixiのサーバOS移行のお話 - 前回補足＆インストール編 - mixi engineer blog
こんにちは。新しもの好きが集まる運用部アプリ運用グループの清水です。 前回の記事では、多くの反響をいただきました。ありがとうございます。 Twitterや、はてブのほとんどのコメントを読ませていただきました。 みなさんのOSの宗派が垣間見えた気がします。 さまざまなコメントをいただいていた中で、よくある代表的なコメントについて、改めてこの場を借りてお答えしたいと思います。 2012年12月28日追記: 以下のQAにつきまして、いわゆる"ネタ"として書きましたが、誤解を招き、不適切な表現で不快な思いをされた方々へ深くお詫び申し上げます。 また、QAの一部に関わるところですが、OS標準のパッケージを否定するつもりは全くございません。 Linuxを安心して使うことができるのは、Linuxディストリビューションに携わっているデベロッパーの方々の素晴らしい活動や成果によるもの、というのが揺るぎない事
mixiのサーバOS移行のお話 - mixi Engineers' Blog
はじめまして、運用部アプリ運用グループの清水 勲です。 2011年8月に入社して以来、はじめてエンジニアブログを書きます。 運用部では、日々、mixiを支えるサーバやネットワークを管理、運用しています。 今回は、サーバで使用しているOSの移行について、何回かにわたって紹介したいと思います。 はじめに 突然ですが、mixiで採用しているサーバのOSはなにかご存知でしょうか？ 過去のブログ記事でもあまり紹介していなかったと思います。 はるか前のことなので詳しくは知りませんが、2006年の社外イベントで、弊社からの発表者と質問者との間で、以下のようなやりとりがあったようです。 参加者からの質問 Fedoraを利用している理由は？ 弊社発表者Bさんの回答 他のOSだとNICを認識してくれなかった。Fedoraなら一発でいけたから。 ということで、mixiでは何年も前からFedoraを採用してき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットワーク ゲームにおけるTCPとUDPの使い分け
Lv1から始めるWebサービスのインフラ構築
グリーにおけるChef導入事例 ～既存の資産を活かし新しい技術を導入する～
クックパッドのインフラ責任者が語る、DevOpsを成功させる考え方「迷ったら健全な方を選ぶ」～DevOps Day Tokyo 2013
「秒速で1億PV稼ぐ条件」をエンジニアに聞いてみた