)
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
ネットワークエンジニアなら「回線の実体＝レイヤーゼロ」を知っておこう (1/2)：羽ばたけ！ネットワークエンジニア（11） - ＠IT
ネットワークエンジニアなら「回線の実体＝レイヤーゼロ」を知っておこう：羽ばたけ！ネットワークエンジニア（11）（1/2 ページ） 日々、2000拠点を超えるネットワークの運用を手掛けていると、OSIの7階層モデルにないレイヤーゼロの話、つまり「回線」をいかに引くかという点をないがしろにできないことが分かる。今回はネットワークエンジニアが意外と知らないレイヤーゼロの基本について述べたい。 企業ネットワークの提案書や設計書にある「ネットワーク構成図」では、回線を1本の直線で表現することが多い。拠点を表す四角い枠に直線を1本引き、そこにルーターを接続する。もうすこし詳細な図では回線終端装置を表す箱をルーターの前に書く。日々、図を描くネットワークエンジニアは、線を1本引けば回線が引けたような気分になるかもしれない。 しかし、回線を現実に開通させるのはそれほど簡単ではない。はっきり言ってとても面倒で
ソーシャルゲームが高負荷に陥っているとき、何が起こっているのか
builderscon 2018 の 9/7 セッションのスライドになります
ユーザが接続先を意識しないSSHプロキシサーバを作った - Fire Engine
今回は、ユーザが接続先を意識しないSSHプロキシサーバを作った話です。 SSHのユーザ名から動的に接続先ホストを決定し、SSH接続をプロキシします。 github.com 作った背景 比較的規模の大きなサーバ群を管理しており、そこに対して接続してくるユーザに特定のサーバを使ってもらいたい場合を考えます。 すなわち「ユーザtsurubeeには、ssh102サーバを使ってほしい」といったようにユーザとマシン間が紐づいている場合の一番単純な運用方法は、個々のユーザが接続先ホストの情報を知っていることです。 これでも問題ないのですが、何かしらのサーバ管理の理由でユーザに使ってもらいたいサーバが変更した場合、ユーザに通知するなどして意識的に接続先を変更してもらう必要があります。 このようなユーザとそのユーザに使ってもらいたいサーバの紐付け情報をサーバ管理側が一元的に管理して、ユーザに意識させることな
「何も起きないこと」が、僕らのやりがい。DeNAライブ配信基盤を生んだ、漢祐介のインフラ構築術 – FullSwing
私たちが利用しているゲームやアプリ。そのほとんどは、24時間365日いつでも快適に使えることが当たり前です。しかしその裏には、“当たり前”を支えているプロフェッショナルがいます。インフラエンジニアです。 何らかのシステムを機能させるため、サーバーやミドルウェア、ネットワークなど統合的なアーキテクチャ基盤を構築・運用する。彼らがそうした業務に日々“フルスイング”し続けているからこそ、私たちはいつでもどこでもシステムを使うことができます。 システム＆デザイン本部IT基盤部第一グループ グループリーダーの漢 祐介（はた ゆうすけ）も、そんなインフラエンジニアの仕事の魅力にとりつかれ、自信の技術を磨き続けてきた1人です。 彼は、ライブ動画ストリーミングプラットフォーム「SHOWROOM（ショールーム）」やゲームやアプリの実況を生配信できるアプリ「Mirrativ（ミラティブ）」のインフラ基盤を担当
Dockerホストのパフォーマンスを引き出すTCPカーネルパラメータチューニング
もう半年くらいフルDockerでmicroservicesなサービスを運用してるんですが、イマイチパフォーマンスを出し切れていないなという面がありまして、今回DockerホストのTCPカーネルパラメータを抜本的に見直しました。 そしたら劇的に症状が改善して、インスタンス数も削減できた上に安定してメシウマ状態になったので紹介します。実際効果があったのでチューニングポイントとしてはある程度正解であったと考えていますが、もちろん扱ってるアプリケーションの特性にもよるはずなので一つのケーススタディであることをご了承頂ければと。 前提 まずは今回のお話の前提を。こんな環境です。 EC2 c3.xlarge ホストはUbuntu（EC2 Optimized AMIは未使用） Docker 1.11.2 MySQL（HAProxy経由）やRedisへのデータストアの通信、各microservicesへの
IBM ソリューション ブログ
持続可能な未来にエネルギーを | 再エネの実例と使用例 化石燃料からの移行を進めるために、再生可能エネルギーを求める国や企業、個人が増え続けています。 太陽光や風力などの再生可能エネルギーによる世界の発電能力は、2023年には50％増加しました。 そしてドバイで開催された国連 […]
世界初の30秒更新＆10分後までの天気予報をリアルタイムで伝えてくれる「超高速降水予報」が登場
ゲリラ豪雨はわずか10分で急激に川の水位を上昇させるため、数分の対応の遅れが致命的になることがあります。そこで、30秒ごとに更新され、10分後までの降水分布予報をリアルタイムに教えてくれる「超高速降水予報」が開発されました。 30秒更新10分後までの超高速降水予報を開始 | 理化学研究所 http://www.riken.jp/pr/press/2017/20170704_1/ 天気予報では、気象レーダが捉える降水パターンの動きを追跡し、将来もそのまま動き続けると仮定する「降水ナウキャスト手法」がとられることがありますが、この手法は平面の降水パターンを追跡するので雨粒の鉛直方向の動きを考慮しておらず、また予測精度が急速に低下するという欠点もあります。 そこで、理化学研究所 計算科学研究機構データ同化研究チーム、情報通信研究機構電磁波研究所、首都大学東京大学院システムデザイン研究科などの研究
開発基盤チームが目指す事 #pixiv_night - Qiita
（当日はesaのプレゼンテーションモードで発表しました） （pixiv night in Fukuoka #02 - ピクシブを取り巻く技術がわかる一夜！ - connpass の発表資料です） 自己紹介 各種SNSをcatatsuyでやっている かたついと呼ばれることが多い ピクシブ株式会社で開発基盤チームと広告チームの兼任 2014年度新卒（2013/10入社） pixivの技術的な改善が主な業務（後で詳しく） 単著『pixivエンジニアが教えるプログラミング入門（星海社新書） ピクシブ社内の非エンジニア向けのプログラミング研修の書籍化 pixiv社内ISUCONやISUCON6本選の問題作成 pixivのチーム分け pixivというサービスは巨大 www.pixiv.net/touch.pixiv.net/スマートフォン用APIなどなど 提供しているサービスも多い pixivという1
フロントエンドに秩序は戻ったか？
Kyoto.js 12発表スライドです。 https://speakerdeck.com/fand/hurontoendonizhi-xu-woqu-rili-sufang-fa の続編です。
Googleは巨大なインフラをどうやってセキュアに保っているか。独自のセキュリティチップ利用やDoS対策、安全なソフトウェア開発など、全体像を解説したホワイトペーパーを公開
Googleのクラウドは間違いなく世界最大規模のコンピュータシステムです。膨大なハードウェアとソフトウェアから構成されるこの巨大なシステムを、同社はどうやってセキュアに保っているのか。そのことを解説したホワイトペーパー「Google Infrastructure Security Design Overview」が公開されました。 ホワイトペーパーには、Googleのデータセンターを構成するデバイスの1つ1つにまで独自のセキュリティチップを組み込んで正規のデバイスかどうかを相互に認証するという物理レベルのセキュリティから、何層のものロードバランサーからの情報を集約してDos攻撃を検知すると、その通信を破棄するといったDoS対策。 そしてマシンも従業員もサービスも包括するグローバルな名前空間など、きわめて広範かつ綿密なセキュリティ施策が説明されています。 クラウドがいかに高度なセキュリティで
ネットワークでなぜ遅延が生じるのか
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）NTT DATA Technology & Innovation
さくらインターネットとピクシブが業務提携し、画像の変換・配信サービス「ImageFlux」を提供 | さくらインターネット
さくらインターネットとピクシブが業務提携し、画像の変換・配信サービス「ImageFlux」を提供 〜ファーストユーザーとして、メルカリが利用開始〜 自社運営のデータセンターでインターネットインフラサービスを提供するさくらインターネット株式会社（本社：大阪市中央区、代表取締役社長：田中 邦裕）とイラスト投稿・交流サイト「pixiv」を運営するピクシブ株式会社（本社：東京都渋谷区、代表取締役社長：片桐 孝憲）は業務提携し、画像処理や画像配信において必要となる画像変換機能とコンテンツ配信をワンパッケージ化したサービス「ImageFlux（イメージフラックス）」を2016年12月13日より提供開始します。また、サービス契約前に全ての機能を試すことができる「無料トライアル」を併せて提供します。 「ImageFlux」は、レンタルサーバーやクラウドなどのインターネットインフラサービスやコンテンツ配信な
大量接続に耐えるWebSocketアプリケーションサーバ構築のコツ - pixiv inside [archive]
WebSocketの扱うサービスでは、長時間のコネクション、再接続処理、プロキシ、ロードバランサなど、インフラの面で多くの問題を抱えがちです。弊社のサービス「pixiv」の9周年企画でも、この問題に直面しました。 実際にそこで構築したインフラの事例をもとに、本運用に使えるWebSocketサーバの構成について、pixivインフラ部の南川からご紹介します。 * 9周年企画 “黒歴史”をロケットで宇宙に飛ばす pixiv黒歴史 そもそも WebSocket とは？ WebSocketはTCP上で動く双方向通信のための通信規格です。 Webページの読み込みで行われているような、クライアントがサーバにデータを要求し、サーバはクライアントにレスポンスを返すというHTTPの通信ルールとは違います。サーバと長時間コネクションを確立し、Socketのようにデータのやり取りを行います。そして、コネクションを
![大量接続に耐えるWebSocketアプリケーションサーバ構築のコツ - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/95f08ea3414673bb0131022fbc9dc354bb7483ba/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdevpixiv%2F20161129%2F20161129204837.png)
83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
インフラエンジニア以外も必見！インフラの基礎が学べるスライド10選-レバテック
インフラについて、何となく理解しているつもりでも、「インフラとは何か？」と聞かれると、こういうものであると明確に答えるのは案外難しいものです。 そこで、インフラの基礎がわかるスライドシェアを10個ピックアップしてご紹介します。 インフラエンジニアの定義、インフラの基礎、手順書の書き方、インフラ自動化など、初心者から中級者向けの内容となっています。 Web業界で働くなら、システムの基盤となるインフラについて学んでおいて損はないはずです。
Infrastructure as Code
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用設計を起点としたインフラ統合基盤構築の薦め
日経電子版を支える基盤API
容量60Tbpsの日米間海底ケーブル「FASTER」が完成、明日運用開始、KDDIやGoogleなど6社が建設 
