1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
クラウドでのネットワーク レイテンシの測定 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 クラウド アーキテクトによく寄せられる質問の一つに、「2 つのエンドポイント間でリクエストとレスポンスをどの程度まで迅速に交換できるのですか？」というのがあります。ネットワークのラウンドトリップ レイテンシを測定するツールには ping、iperf、netperf などがありますが、すべてが同じように実装、構成されるわけではないため、ツールによって結果が異なる場合があります。ほとんどの場合、この質問に対する代表的な回答が得られるツールは、netperf であると考えられます。これからその詳細について説明していきます。 Google は、レイテンシ ベンチマークに関する実践的な経験を重ねてきました。このブログでは、Google とサザン メソジスト大学の AT&T Cen
BPF Performance Toolsを読んだ感想 - go_vargoのブログ
BPF Performance Toolsを読んだので、感想ブログです。 先に感想を言っておくと「最高」でした。 BPF Performance Toolsとは？ NetflixでKernel・パフォーマンスにかかわるチューニング・アーキテクチャを専門にしているBrendan Greggさんが書いた本です。BPFのiovisorというTracing分野の第一人者でもあります。 www.brendangregg.com 2019年12月に発売したばかりなので、BPFの分野では最新の本でしょう。他の著書に有名な本として(日本語版の)「詳解システム・パフォーマンス」があります。 BPF Performance Toolsは「詳解システム・パフォーマンス」第二弾と言えるかもしれません。ちなみにページ数は880Pあり、Kindleで表示される読み終わるための平均的な時間は「27時間30分」で、大作R
チェックリスト: ベスト プラクティスおよびガイドライン - SQL Server on Azure VMs
適用対象:Azure VM 上の SQL Server この記事では、Azure 仮想マシン (VM) 上の SQL Server のパフォーマンスを最適化するための一連のベスト プラクティスおよびガイドラインとして、クイック チェックリストを提供します。 包括的な詳細については、このシリーズの他の記事 (VM サイズ、ストレージ、セキュリティ、HADR の構成、ベースラインの収集) を参照してください。 Azure VM 上の SQL Server 用の SQL Assessment を有効にすると、お使いの SQL Server が既知のベスト プラクティスに照らして評価され、その結果が Azure portal の SQL VM 管理ページに表示されます。 SQL Server VM のパフォーマンスを最適化し、管理を自動化するための最新の機能に関するビデオについては、次の Data
WANem で Software-Defined なネットワーク帯域制御装置を作る (1) - 仮想化でプリセールスしてるSEの一日
(1) (2) (3) ご存じのとおり、VDI や BCP/DR はネットワークの帯域・回線品質に大きく左右されるソリューション。 本社オフィスであればリッチな専用線を契約しているかもしれませんが、拠点オフィスなどではフレッツ系などを利用しているケースも多々あります。 WAN 回線が潤沢でない場合も支障が無い設計を行うために「回線シミュレータ」や「帯域制御装置」を使って事前検証しておきたいところです。 しかし、帯域制限ならまだしも遅延まで作れるような装置は意外と高価。。。 検証のためだけに購入するのは難しいところです。"ぶっつけ本番" で導入してしまうケースもありますが、遊休サーバーや仮想マシンを使ってソフトウェアベースの帯域制御装置を作ってみましょう。昨今流行りの "Software-Defined" です。 Linux の「tc qdisc」で回線シミュレーション Linux にある程
なぜHTTPSはHTTPより速いのか
先週、httpvshttps.com というウェブサイトが公開されました。このウェブサイトでは、HTTP と HTTPS を用いてアクセスした場合のウェブページのダウンロード完了までにかかる時間の比較ができるのですが、多くの環境で HTTPS の方が HTTP よりも高速なことに驚きの声が上がっていました。 HTTP が TCP 上で平文を送受信するのに対し、HTTPS は TCP 上で TLS (SSL) という暗号化技術を用いて通信を行います。ならば、TLS のオーバーヘッドのぶん HTTPS のほうが遅いはずだ、という予測に反する結果になったのですから、驚くのも無理はありません。 実は、この結果にはからくりがありました。 Google Chrome、Mozilla Firefox、最近のSafari注1は、Google が開発した通信プロトコル「SPDY」に対応しており、HTTPS
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
)
Windows の管理 : サーバーのパフォーマンスを測定する
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 Windows の管理 サーバーのパフォーマンスを測定する Steven Choy 概要 : パフォーマンス モニタをカスタマイズする 測定する内容と頻度に関するガイダンス 重要なカウンタと予期される値の概要 目次 結果を見やすくする 測定する内容とタイミング ハード ディスクのボトルネック メモリのボトルネック プロセッサのボトルネック ネットワークのボトルネック プロセスのボトルネック まとめ 月曜日の朝、オフィスに着いた途端、熱心なユーザーからサーバーの処理速度が遅すぎるという不満をぶつけられたとします。そのユーザーをサポートするにあたって、まず何をすればよいでしょうか。パフォーマンス モニタは、Win
ボックス--パフォーマンス・ボトルネックを探し出す近道
パフォーマンス上の問題が報告される時、防御手段に凝り固まったコメントがついてくることがとても多く、そして、そんなコメントのほとんどは、どこから作業を始めるべきかを理解する上で何の役にも立ちません。このジレンマに直面し、根本的な原因から推量し始めるチームも珍しくありません。ここで「ボックス」の登場です。ボックスはシステム全体を抽象化した小さな図式です。パフォーマンス・ボトルネックの実情を思い出させてくれます。厳密な調査と併用すれば、ボトルネック発見から当て推量を排除するのに役立つでしょう。矛盾と意外性を除外したいのなら、推量の排除は必須です。 システムレイヤのケーキ 図1で描いたボックスには4つのレイヤがあります。レイヤはそれぞれ、人、アプリケーション、Java仮想マシン、ハードウェアと名前がつけられています。このボックスを詳しく見ていくにつれ、システムパフォーマンスに対して各レイヤーが果た
Oracle ORIONの使用方法 （Windowsディスクベンチマーク）
Oracle社が提供するディスクIO性能ベンチマークツール「ORION」を用いて、Windows環境上でディスクのIO性能を測定する際の手順メモです。 「ORION」は、Oracle DatabaseのIO制御プログラムをベースにして作成されており、RDBMSの様々なワークロードパターンをシミュレートしてディスクIO性能を測定できる優れたベンチマークソフトです。Windows版・Linux版・Solaris版・AIX版・HP-UX版が提供されており、異なるプラットフォーム間でディスクIO性能を比較する用途でも利用できます。 動作確認環境Windows XP Professional SP3 Filesystem : NTFS 3.1 (5.1)Windows 7 Home Premium Edition SP1 (x64) Filesystem : NTFS 3.1 (5.1)Window
ブラウザごとにベンチマークをとれるjsPerfが便利すぎる - 猫にWeb
JavaScriptのコードスニペットのベンチマークをとれるjsPerf(http://jsperf.com/)というWebサービスを知って、 けっこう簡単で便利だったので紹介します。 ベンチマークというとプロファイラを使ったり、 計測したい処理の前後に*1Dateオブジェクト作って、差分をチェックしてゴニョゴニョする感じでした。 var start = new Date(); // 計測対象の処理 hoge(); var end = new Date(); var processTime = end - start; // start から end までのミリ秒を得る ただ、JavaScriptの場合、短いプログラムだと結果が不安定だったり、 ブラウザによって速度が左右されたりします。 そんな時に使えるのが「jsPerf」です。 このWebサービスは、計測したい処理が1秒間に何回実行でき
無料パフォーマンステスト | 負荷テスト
これまで、負荷テストの実行には専門知識と実行環境の準備に多くのコストが必要でした。社会からWebサービスの性能に関する不具合をゼロにするために、簡単、無料、圧倒的な負荷テストサービスを提供します。 ユーザビリティ サーバの応答速度は常に変化し、利用者の直帰率に大きく影響を与えます。サーバの応答速度を可視化し、日々計測することで、すみやかに問題個所を発見できます。 性能測定 サーバの性能不足により、せっかくの営業機会を失うサイトが多く存在します。サーバの性能を正しく把握することで、予測される負荷に応じたサーバの増強ができます。 負荷チェッカー／カレンダーを利用したテスト（ジョブ）の予約や、グラフィカルな結果画面を準備しており、初心者の方にも大変使いやすいサービス。インスタントテスト／URLを入力するだけで、すぐに負荷テストを行うことができます。シナリオテスト／ログインが必要なページや複数のペ
プログラミング言語の速度とアプリケーションの速度がいかに関係ないかがわかるグラフ - kなんとかの日記
まずは次の表をご覧あれ。これはプログラミング言語のベンチマークとして有名な Computer Language Benchmarks Game のベンチマーク結果。上にいくほど高速で、下に行くほど遅い言語になる。 これを見れば、最速な言語は C/C++ であり、Java や Haskell や OCaml といった静的な言語は軒並み上位に登場する。これに対し、Ruby や Python や PHP といったスクリプトは全部下のほう (つまり遅い)。その速度差は非常に大きく、このベンチマークで見ると Python3 や Ruby1.9 は C/C++ の約50倍から60倍遅く、Perl は約90倍、PHP にいたっては約130倍遅いことになる。 (ちなみに JIT つきの Lua が驚異的に高速なのが目をひく。この結果が本当だとしたら、言語の速度に大きく関係するのは動的か静的かではなく、どれ
HTTPリクエストを減らすために【序章】HTTPリクエストは甘え - MOL
このシリーズはHTTPリクエストの理解を通じてWebパフォーマンスの重要性について考える5章構成になっている。 【序章】HTTPリクエストは甘え 【CSS Sprite編】スプライト地獄からの解放 【WebFont編】ドラッグ＆ドロップしてコマンド叩いてウェーイ 【DataURI編】遅延ロードでレンダリングブロックを回避 【終章】我々には1000msの猶予しか残されていない 1日目は、HTTPリクエストの概要について説明する。 例えに、私のポートフォリオページ（t32k.me）が表示されるまでの流れを見ていく。まず、検索からでも方法はなんでもよいが、ブラウザのURLバーにt32k.meと打ち込んでアクセスする。そのページを見にいくということは、つまりt32k.meに対してHTTPスキームでリクエストするということを意味している。 クライアントであるブラウザは入力されたURLを判断して、リソ
Gartner
What is a financial controller? The role and keys to effectiveness
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
MRTGのインストールと設定
c:\mrtg\cfg ディレクトリにmrtg.cfgファイルが作成されます。 MRTG設定ファイルの編集 WorkDirの設定 mrtg.cfgファイルを開きます。ファイルの先頭部分の ### Global Config Options # for UNIX # WorkDir: /home/http/mrtg # or for NT # WorkDir: c:\mrtgdata の WorkDirのコメントを外し、WorkDirのパスを編集します。 今回は、 ### Global Config Options # for UNIX # WorkDir: /home/http/mrtg # or for NT WorkDir: c:\inetpub\wwwroot\mrtg としました。 グラフオプションの設定 # to get bits instead of bytes and gra
mrtgでサーバ状態の監視
... （前略） ... /modprobe -r --ignore-remove snd-hda-intel # I2C module options alias char-major-89 i2c-dev ... （前略） ... touch /var/lock/subsys/local # I2C adapter drivers modprobe i2c-i801 modprobe i2c-isa # I2C chip drivers modprobe eeprom modprobe w83627hf # sleep 2 # optional /usr/bin/sensors -s # recommended なお、各値名前や値の最大・最小などを決める定義ファイルは /etc/sensors.conf に書かれているので、マシンのセンサー名の項目以下を適宜修正する。 ... （前略）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
slimtune - Project Hosting on Google Code
Devsの常識、DBAは非常識
