tasksetコマンドの使い方 - QiitaHelp us understand the problem. What are the problem?
単独のサーバーの「負荷」の正体を突き止める - 祈れ、そして働け ～ Ora et labora
指標を読む ロードアベレージ # uptime 15:40:33 up 357 days, 22:34, 2 users, load average: 0.19, 0.17, 0.12 コマンド uptime。load averageに続く3つの数字が過去1分間、5分間、15分間の平均値を表します。 意味 処理を実行したいが、なにかしらの要因で実行を待たされているプロセスの数を表します。したがって、ロードアベレージが高い状態とは多くのプロセスが処理を実行できずに待たされている状態、ということになります。 解釈 なにかしらの要因としては「ほかのプロセスにCPUが使われていて、空くのを待っている状態」と「ディスクに読み書き要求を発行していて、その結果を待っている状態」の二種類が考えられます。前者は「CPU使用率」、後者は「I/O待ち率」として数値化することができます。ロードアベレージを見ただけ
CPU/GPU/AWSでのTensorflow実行速度比較 - Qiita
この記事は Tensorflowを使って大量の画像データの学習をしています 収束までとにかく時間がかかるので学習環境をアップグレードしてきました 各環境でTensorflowの処理速度がどの位出たのかがベンチマーク的な意味合いを持ちそうなので公開しておきます OS含めて諸々環境のバージョン類が異なるのであくまで参考としてみていただければ 実行処理内容 Tensorflow上でCNNの最高峰、Inception-v3を使ってオリジナルの画像でトレーニングします 枚数は数十万オーダ（性能には影響しないはず） 1000カテゴリへの分類器 実行コマンドは下記 $ bazel-bin/inception/imagenet_train --num_gpus=[gpu数] --batch_size=32 --train_dir=/share/train/ --data_dir=/share/tfreco
日報 #107 - AWSのEC2インスタンスのコア数を考慮しながらLoadAverageをきめる - 俺の報告
また一段と寒くなりました。 2月には雪かもしれませんね。 弊社でもチラホラと体調を崩す人が増えてきました（俺含む）。 風邪って奴に完全な抵抗力を持つ日は来るのでしょうか… さて、本日はちょいとサーバサイドのお話。 コンピュータの負荷指標は色々ありますが、皆様はどれを重要指標としてますでしょうか。 前にも少し触れましたが僕が気にしている指標を一応列挙いたします。 ELBのLatency EC2のCPU Usage EC2のMemory USAGE (-/+ buffers/cacheのused) EC2のCPU LoadAverage RDSのCPU Usage RDSのDBConnect I/O周りでは、 EC2のSwap I/O EC2のDisk I/O RDSのDisk I/O と言った感じです。 これらをCloudWatchで毎分観測し、物によってはAlert設定をしています。 今回
超高速のPostgreSQLとしてGreenplumを気軽に使う
はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム
AWS の CPU の歴史とそこから見えてくる戦略 | はったりエンジニアの備忘録
あけましておめでとうございます！ 去年は AWS 認定試験を制覇したので、今年は実践スキルを今以上に磨いていこうと思います。 さて、最近の EC2 インスタンスは Intel CPU のプロセッサー・ナンバーが公開されています。ですが M1, M2, C1 といった旧世代インスタンスでは CPU にばらつきがあり、当たり外れの差が激しかったのは記憶に新しいところ。 当たりの CPU が出るまで stop → start を繰り返すインスタンスガチャも流行りました (笑) 今回は AWS の CPU について歴史を振り返りつつ、その戦略を考えてみます。物理レイヤーを意識することがほとんどない AWS ですが、物理の知識なしでは最高のパフォーマンスは得られません。知っておいて損はないでしょう。 インスタンスタイプのリリース時期は公式ブログ「EC2 の歴史」に載っていますので参考にしてください。
はてなブログ | 無料ブログを作成しよう
わたし的棚ぼた一万円選書 急に千葉さんに手渡された封筒、開けてみたら1万円札が1枚。何ごとかと思えば、同期の出張を代わったお礼をもらったらしい。 「葵はワンオペで育児してくれたから」と半分わけてくれました。 泡銭の1万円 これはもう、わたし的1万円選書をしろという思し召しなのでは……
naoyaのはてなダイアリー - 負荷とは何か
調べごとをしたので blog に書いて理解を深めようのコーナーです。長文です。 Linux でシステム負荷を見る場合にお世話になるのが top や sar (sysstat パッケージに同梱されてるコマンド) などのツールです。 top ではシステム統計のスナップショットを見ることができます。今システムがどういう状態かなーというときは top が便利。 top - 08:16:54 up 3 days, 14:43, 6 users, load average: 0.18, 0.07, 0.03 Tasks: 43 total, 2 running, 41 sleeping, 0 stopped, 0 zombie Cpu(s): 18.2% us, 0.0% sy, 0.0% ni, 81.8% id, 0.0% wa, 0.0% hi, 0.0% si一方の sar では10分ごとのシ
はてなブログ | 無料ブログを作成しよう
今の自分は、出会った人や読んできた本によって、できあがっている あの小冊子は、新聞の付録だったのか、記憶が曖昧で定かではないのだが、1ヶ月に1回程度の頻度で届いていた気がする。オールカラーで内容もさまざまだった気がする。その中には、プロ野球の選手名鑑もあって、私は、母から受け取り、大切にしていた記憶がある。母は、…
VB.NETで仮想CPUを作ろう (4) - テストドライバの改良：CodeZine
はじめに 本記事はVB.NETの初歩的な記法だけを使って、簡単な機械語で動く仮想CPUの実装法を解説します（※CPUにもいろいろありますが、この記事ではIntel社が製造しているCPUを対象とします）。その過程を通じて、初心者でもバイナリプログラミングが楽しめることと、バイナリプログラミングの魅力を伝えたいと思っています。 前回は、仮想CPUの動きが目に見えるように実装しました。今回はそのテストドライバをさらに改良して機械語の実装を行いやすい環境を整えます。これまでの連載VB.NETで仮想CPUを作ろうVB.NETで仮想CPUを作ろう (2) - レジスタの実装VB.NETで仮想CPUを作ろう (3) - 仮想CPUのGUI化 下準備 今回は前回の実装を拡張していきますので、あらかじめ前回までの部分の実装を済ませておいてください。後は専門用語とCPU構造の確認のため、第1回で用意した3つの
Parallel Java Library
Prof. Alan Kaminsky Rochester Institute of Technology -- Department of Computer Science Overview Books and Publications Preinstalled Version Download Version System Requirements Installation Usage License Documentation (Javadoc) Overview Parallel Java (PJ) is an API and middleware for parallel programming in 100% Java on shared memory multiprocessor (SMP) parallel computers, cluster parallel compu
VB.NETで仮想CPUを作ろう：CodeZine
はじめに 皆さまはVB.NETにどのようなイメージをお持ちでしょうか？ 筆者がよく聞くイメージは「初心者用」です。開発元のマイクロソフト社のWebページにも「Visual Basic 2008 Express EditionはWindowsアプリケーションの楽しく簡単な作成方法に興味を持つ、趣味で開発を行うユーザー、プログラミング初心者、および学生に最適な開発ツールです」と書いてありますので、そのイメージはあながち間違いではないでしょう。 おそらくそれが原因なのでしょうが、VB.NETであまりディープな内容にチャレンジしている人を筆者は見かけません。デバッガ実装、OS開発、RDBMS実装、機械語解析などのディープな内容は大半C言語で行われております。C言語を選択するのは実用的な観点から言えば正解なのですが、だからといってディープな内容が楽しめる言語はC言語だけではありません。さすがにOS開
MYCOMジャーナル - エンタープライズ - コラム - コンピュータアーキテクチャの話
新着記事一覧 【コラム】3Dグラフィックス・マニアックス 第32回 ジオメトリシェーダ(3)〜ジオメトリシェーダのアクセラレーション的活用(3) [17:30 9/26] グリーンNTTの本格活動開始 - 、2012年度までに5MW規模の発電を目指す [17:27 9/26] 韓国大手のGmarketを米eBayが買収 - オンラインショッピングに変革 [16:56 9/26] 吉田カバンがコンランショップとコラボ! - 機能的なビジネスバッグ登場 [16:43 9/26] IBM、世界4カ所にクラウド・コンピューティング・センターを開設 [16:17 9/26] こんにゃくセラミドと食物繊維10,000mg配合の機能性飲料発売 - JT [16:11 9/26] 日本IBM、最小で20万円を切るセキュリティアプライアンスを発表 [15:53 9/26] S3 Graphic
Perl で 8ビット CPU を作る - naoyaのはてなダイアリー
CPU を作る、と言ってもハードではなくソフト、仮想機械です。 2001 年から UNIX USER で連載されていた西田亙さんの「gccプログラミング工房」。いまさらながら、バックナンバーを取り寄せて初回から順番に読んでいます。とてもためになる連載です。 この連載中で第10回から数回に分けて開発されていた octopus という 8 ビット CPU の仮想機械があります。オリジナルは C 言語で書かれていたのですが、その設計を見て、これは他の言語でも作れるのではないか、と思い Perl に移植してみたところなんとか動作させることができました。以下の URL にコードを公開します。(西田さんに確認を取ったところ、オリジナルのソースは Public Domain とのことでした。オリジナルは http://www.skyfree.org/jpn/unixuser/ からダウンロード可能です。
ウノウラボ Unoh Labs: マシン語を学ぶ子ども達
尾藤正人(a.k.a BTO)です コンピュータは低レベルのシステムを抽象化することで、どんどん扱いやすいものに進化してきました。 コンピュータの歴史は抽象化の歴史だと言い換えるのは大げさかもしれませんが、近いものはあるかもしれません。 ウノウで行うプログラミングはWebプログラミングがほとんどですが、WebプログラミングはPerl, PHP, Python, RubyのようなLLを使ってプログラムを書くことが多いかと思います。 LLは高度に抽象化されて低レベルで行っている処理を意識せずに記述することができる大変優れた言語です。 LLでプログラムを記述するにあたって低レベルのシステムを理解する必要があるとは思いませんが、知っていて損はない知識です。 少し前にマシン語についての話が話題になりました。 ちょうどタイミングよく社内勉強会の当番が回ってきたので、マシン語(というかアセンブリ言語を含
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google