Hadoopのジョブのパフォーマンスチューニング
Hadoop 0.21ではCounterでGCに使っている時間が見れるようになりました。 こんな感じです。 この例では5秒程度ですが、ジョブによってはもっとGCに時間を使っている場合があり、 もっと詳細を調べてチューニング出来ないかという話です。 まずはGCのログを取ります。 <name>mapred.child.java.opts</name> <value>-Xloggc:/tmp/hadoop-mikami/@taskid@.gc -Xmx1024m</value> このように-Xloggc で指定した場所にログを取れます。 @taskid@ には attempt_201010311624_0037_m_000000_0 みたいな感じでattempt_id が入ります。 以下が先程のジョブのあるMapタスクでのGCログです 0.164: [GC 3072K->416K(889
過負荷をかわす Apache の設定 : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の9日目です。 前回は php を動かしている Apache の手前にリバースプロキシを 置く必要性を解説しました。 今日は、 その前の php のプロセス数を絞る設定と合わせて、実際に Apache で 設定する方法を紹介します。 以降、 php を動かしている Apache の事をアプリサーバー、リバースプロキシ＋ 静的ファイル配信を行っている Apache の事をプロキシサーバーと呼びます。 基本設定 まずは基本的な設定のおさらいです。 アプリサーバー 並列数を絞るには MaxClients を設定します。アプリがどれくらいの時間を CPUの処理で使って、どのくらいの時間を外部リソース待ちに使っているかにも よりますが、だいたいCPU数の1.5倍〜2倍くらいが適当だと思います。 Hyp
Debianでperfを使う - かみぽわーる
チューニンガソンの優勝者がperfというコマンドを使ってCPU時間のプロファイリングをしていたらしい。そんなコマンドはじめて知った…。 yumだと以下のように直感的なパッケージで入るそうですが yum install perfDebian Squeezeでperfコマンドはlinux-baseパッケージに含まれててデフォルトで入ってるんですが実行すると % sudo perf top /usr/bin/perf: line 7: exec: perf_2.6.32: not found E: linux-tools-2.6.32 is not installed.といわれるのでlinux-tools-2.6.32を入れると使えるようになります。 % sudo aptitude install linux-tools-2.6.32あとUbuntu 10.10でも試してみたら、こっちではper
【コラム】OS X ハッキング! (325) 増え続ける「Safari 4」のキャッシュ対策 | パソコン | マイコミジャーナル
WWDC 2009でいろいろ新製品がリリースされ、私のスケジュールも非常にタイトなものになっています。iPhone 3G Sの手配もしなけりゃならないし、Snow Leopardリリースに向けての準備も必要だし。暑い夏になりそうです。 さて、今回は「Safari 4」について。いろいろ書くべきことはあるが、まずはプラグイン関係の話と、貴重なディスクスペースを圧迫する「プレビューのキャッシュ」回避策を取りあげてみたい。 インストール完了、最初はここをチェック OS Xには、インプットマネージャの機構を利用したプラグインが存在する。概要は「第304回 OS標準ハック仕様? の『SIMBL』を知る」で解説しているとおりで、Safari 4ではこの辺りの実装に変更が行われたものと推定される。実際、バージョンアップしたら動作が不安定になった、何やら遅いといったトラブル報告も耳にしているので、一度以下
Oracle Statspack
Oracle Statspack Statspack は、Oracle 社が Oracle9i データベースの配布キットと共に提供するパフォーマンス チューニング キットです。Statspack は、わずかな操作で任意の Oracle9i データベースにインストール可能で、そのデータベース インスタンスのパフォーマンスに関する詳細な分析データをすばやく収集します。この付録では、Statspack のインストール、スナップショットの収集、レポートの生成、および WLI の主なデータベースのボトルネックの特定について、簡単に説明します。 Statspack のインストール Oracle Statspack ツールは、比較的簡単な操作でインストールできます。以降では、Oracle Statspack を UNIX システムにインストールする操作を手順ごとに説明します。
OTN Japan - Oracleデータベース 性能対策機能 ～ StatspackとDiagnostics Packを使いこなす ～ 第1回 StatspackとDiagnostics Packの概要と使用方法
NTTコムウェア株式会社 プロジェクト管理統括部 技術SE部門 DB技術グループ 坂下 徹 Oracleデータベースの性能対策の重要な機能、「Statspack」や「Oracle Enterprise Manager 10g Diagnostics Pack」(※オプションライセンス)の利用ポイントをお伝えします。使わないと"もったいない"機能です！(Diagnostics Packの有無による違いはここ) - INDEX - ■ 1 はじめに ■ 2 性能対策概要 ■ 3 Statspack ・ 3.1 インストール ・ 3.2 メンテナンス ・ 3.3 レポート作成 ・ 3.4 Statspackが不向きなケース ■ 4 Diagnostics Pack ・ 4.1 Automatic Workload Repository (AWR) ・ 4.2 Automatic Database
3-6-2-4 実行計画の分析
18 March, 1998 Updated PCDN OracleWG S.Yamazaki オプティマイザが実行計画を作成する場合、コストベース・アプローチかルールベース・アプローチのいずれかを選択します。それぞれのアクセスパスの選択については「Oracleのオプティマイザ」に述べているとおりであり、 ここでは、いずれかのアプローチによって作成された実行計画の説明をしていきます。 なお、R7.3.2あたりからCBOでのみ動作する計画がありますので、CBO主体（analyzeコマンドで統計を取った状態）で説明したいと思います。 実行計画 実行計画とは、DML文(SELECT,UPDATE,DELETEなど)を実行するために、いくつかのステップを踏むことになります。ステップでは、索引・行の読み込み、ソート、変換など、様々な動作が含まれています。これらの動作の組み合わせを実行計画
SQL チューニング編3 - SQL 実行計画解析、EXPLAIN、ヒントオプション - SAK Streets
SQL チューニング編3 - SQL 実行計画解析、EXPLAIN、ヒントオプション Oracle 固有の部分があるかもしれません。SQL-Server、MDB では注意のこと。 ■表結合解析 ・表結合では、次のように NESTED LOOPS と、それぞれのテーブルに対する走査方法を解析できる。 表の結合においては、from 句の指定でレコード数の多いものから記述する 方が有利である。 (データベース最適化、データベースチューニング) truncate table plan_table; explain plan for select 受注番号, 受注m.品番 as 品番, 受注m.受注数 as 受注数, 品番m.受注数 as 受注累積, 受注m.得意先CD as 得意先CD, 得意先名, 受注m.更新担当者 as 更新担当者, 受注m.更新日付 as 更新日付, 受注m.更新時間 as
VMware Fusion のチューニング
mac,iphone,ipad,software,etc memo. Sometimes private diary. VMware Fusion のチューニングをしてみました。 設定ファイルに幾つか設定値を追加します。 メモリ系の設定をすることでホスト側が安定しました。 設定ファイルは VMware で作成された .vmwarevm という拡張子のファイルの中に含まれてます。 右クリックメニューの「このパッケージの内容を表示」で表示された中の .vmx という拡張子のファイルです。 このファイルをテキストエディタで開いて一番最後へ設定値を追加していきます。 仮想メモリ機能のオフ 仮想マシンのメモリは .vmem という名前でファイル化されてます。 これをファイルではなく、実メモリに展開させる。 この設定によりホスト側が安定する。 mainMem.useNamedFile = "FALSE
misc: デスクトップ Linuxの軽量化
デスクトップ環境軽量化に興味がある方が多いようですので今回はコレがテーマです。 以下はFedoraやCentOS等のRedhat系に関して記載しています。 1）リモートデスクトップの必要性がない限りxfsを使用しない 2）一般的なデスクトップ用途で最低限必要なサービス（常駐アプリ）は ・hal（haldaemon） ・dbus（messagebus） ・network の3つだけ ※用途によりさらに停止することも可能 3)ウインドウマネージャはGNOMEやKDEではなく、fluxboxやJWM等の軽いものを使用 4)ipv6やSELinuxは使わない 5)メモリ増設しswapは使わない（詳細は以前の記事） 6)3Dを使わなくてもビデオドライバはDRIを有効にしておく（特にintel系） 7)ランレベル5のxdm(gdm、kdm)ではなく、ランレベル3のstartxでデスクトップを起動する
重いFirefoxをなんとかして速くしたい | バシャログ。
その強力なアドオンで、とっても便利なFirefoxですが、毎日使っているとドンドン動きが重くなっていってしまいます。 うーん、どうにか軽くならないものかと色々やってみました。 起動を速くしたい まずはとにかく時間のかかる起動をなんとかしたいと思います。 Firefoxはブックマークやら履歴やらクッキーやらをSQLite DBで管理しています。 毎日使っていくうちにDBは大きくなり、起動や動作が重くなっていくとのこと。 そこでSQLite Optimizerというアドオンを使って、DBの最適化をしてしまいます。 手順は以下の通り。 1. SQLite Optimizerをインストール。 2. アドオンの管理画面でSQLite Optimizerの環境設定画面を開きます。 3. 『Firefox終了時にsqliteデータベースのREINDEXを実行する』にチェックを入れます。 以後、Firef
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bayashi.net
[SQL]実行計画の表示(SQLServer)