チューニンガソン5の復習 MySQL 5.5 チート編＆勉強会のお知らせ - SH2の日記
ゼロスタートの@zakiさんを中心に企画、運営されているチューニンガソンというイベントがあります。指定された環境を用いてOSやサーバ周りのチューニングを行い、性能を競うというものです。2013年1月に行われた第5回ではMySQLがテーマだったということで、本日はこれの復習をしていこうと思います。 【レポート】いろいろチューニングしてパフォーマンスを競うバトルイベント！「Tuningathon」第5弾！ #tuningathon : ゼロスタートの広報ブログ 2013年最初のチューニンガソンはMySQL！――第5弾！ いろいろチューニングしてパフォーマンスを競うバトルイベント「チューニンガソン」レポート：レポート｜gihyo.jp … 技術評論社 Tuningathon#5 - Togetter しばらく真面目にチューニングしていたのですが思いのほか難しかったので、今回はちょっとズルをして優
I/Oチューニングを成功させる必修ポイント
I/Oチューニングを成功させる必修ポイント：Dr. K's SQL Serverチューニング研修（6）（1/3 ページ） SQL Serverは一般的にチューニング不要のデータベースと認識されている。しかし基幹系業務システムへの導入が進むにつれて、パフォーマンス・チューニングのニーズは急速に高まってきた。そこで本記事では、日本におけるSQL Serverコンサルタントの第一人者、熊澤幸生氏にSQL Serverチューニングのノウハウを語っていただくことにした。インタビュアーはSQL Serverへの造詣が深いITジャーナリスト、工藤淳氏が担当する。（編集部） SQL Serverのチューニングで重要なポイントとして、今回から2回にわたり「I/O関連」に焦点を絞って考えてみましょう。I/Oにおけるボトルネックをいかに発見し、その原因を追究して改善に導いていくかが、データベースのパフォーマンス
SQL Serverに1億件のテストデータを高速に作成する - 開発思考実験日記
SQL Serverに1億件を超える大量のテストデータを作成する必要がありできるだけ高速な方法を調べてみた。 ストプロを試してみる まずはストプロを作成してどの程度になる確認してみる。単純にループを回してINSERTを1件づつ行う方法でまずは100万件で試してみる。 ALTER PROCEDURE dbo.CreateData AS SET NOCOUNT ON DECLARE @RowCount INT SET @RowCount = 0 WHILE @RowCount < 1000000 BEGIN INSERT INTO TestTable VALUES (@RowCount, 'DATA' + right('0000000000' + convert(varchar, @RowCount), 10)) SET @RowCount = @RowCount + 1 END RETURN
Covering Index と self-join と MySQL - blog.nomadscafe.jp
某サービスのクエリチューニングのお話。 ブログとか日記とかそういうサービス系で次のようなテーブルがあったとします。 CREATE TABLE entries ( id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, user_id INT UNSIGNED NOT NULL, posted_by TINYINT UNSIGNED NOT NULL, --#PC、mobileなどどこから投稿されたかのフラグ title VARCHAR(512) NOT NULL, body TEXT NOT NULL, created_at DATETIME NOT NULL, updated_at TIMESTAMP NOT NULL, status TINYINT UNSIGNED NOT NULL, INDEX (user_id,created_at
RDBのバッファキャッシュが固定長のDBでも90%以上ヒットする理由 - レベルエンター山本大のブログ
拙著エントリー信じられないDB文化「固定長DB」でもあうんです。大規模コンシューマ向けサービスのRDB設計 - 山本大の日記についたコメントで、以下のようなものがあった。 個人的には「固定長にすることでのCPUコスト」よりも「固定長にすることでのI/Oコスト」、つまり記事にもあります「バッファキャッシュヒット率が低くなる。」ことによる性能劣化がとても気になるのですが。。。 その辺は、一括でドカンと支払われた初期投資費用で十分なサイズのメモリを積んで回避されたのでしょうか。 これに対しては、僕は技術の論理的な解答ではなく、運用実績から応えされていただこうと思う。 はじめに、データベースバッファキャッシュとは Oralceのパフォーマンスチューニングの内、SGAと呼ばれるメモリ領域の中の「データベース・バッファ・キャッシュ」という領域を無視してチューニングすることはありえないと言っていいい。
「Mobage」巨大サーバーを支えるDeNAのMySQL活用とは｜【Tech総研】
MobageなどのデータベースとしてMySQLを採用しているDeNAは、このほどMySQLコミュニティ最大のイベントで、「Corporate Contributor of the Year 2011」を受賞した。そこで示されたDeNAの世界に通用する技術力とは──。 オープンソース・データベースとして世界中で使われているMySQL。大規模なトランザクションを処理するサイト構築には不可欠の技術だが、株式会社ディー・エヌ・エー（DeNA）はMySQLを徹底して使い倒し、独自の拡張技術を開発することを通して、その可用性を高めてきた、日本を代表するユーザー企業の一つとして知られている。現在、Mobage（モバゲー）サービスを動かすために、約700台のMySQLサーバーが稼働しており、その数は世界的にも有数のものだ。 4月中旬に米サンタクララで開かれたMySQLコミュニティ最大のイベント、MySQL
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
SQLパフォーマンス問題調査でEXPLAIN PLAN、SQLトレースは（ほとんど）使わない « WR blog
December 2014 (1) February 2014 (1) January 2014 (1) September 2012 (1) April 2012 (1) March 2012 (2) October 2011 (1) June 2011 (5) May 2011 (1) April 2011 (1) March 2011 (1) February 2011 (1) January 2011 (1) December 2010 (1) September 2009 (1) April 2009 (1) March 2009 (1) January 2009 (3) November 2008 (2) October 2008 (1) December 2005 (2) October 2005 (2) September 2005 (2) August 2005 (7)
Things SQL needs: MERGE JOIN that would seek
One of the most known and least used join algorithms in SQL engines is MERGE JOIN. This algorithm operates on two sorted recordsets, keeping two pointers that chase each other. The Wikipedia entry above describes it quite well in terms of algorithms. I'll just make an animated GIF to make it more clear: This is quite a nice and elegant algorithm, which, unfortunately, has two major drawbacks: It n
Oracle Knowledge アーカイブ | EXEM Japan HP
“Scene25 – SGA： allocation forcing Component growth”...
内部動作を知らずしてチューニングは語れない
潜んでいる問題にどうアプローチするか 私がお客様のSQL Server環境を見せてもらうとき、何をしているのかをよく聞かれます。ほとんどの場合、事前にデータベース環境と領域利用状況、インデックス定義などを取得するスクリプトをお客様に渡し、データを取得します。 お客様が最も監視してほしい時間帯を2時間ほど設定していただき（通常は本稼働環境の最もトランザクション負荷の高い時間帯）、パフォーマンス測定ツール（Quest SoftwareのSpotlight on SQL Server）、動的管理ビュー（DMV／DMF）を用いてデータを取得し、2週間程度の時間をかけて解析の作業に入ります。今回は、その動的管理ビューのデータの「どこをみているのか？」を解説しましょう。 やはり重要、RDBエンジンの内部動作 図1は、SQL Server 2008 R2の内部構造をブロックで表したものです。前回までにお
パフォーマンスを語るために歴史を語ろう
第1世代 SQL Server 4.2／6.0／6.5 サイベースから技術提供を受け、Windows NT Server上に移植 2KB／ページ 16KB／エクステント ページロック 第2世代 SQL Server 7.0／2000 Dr. ジム・グレイ（Jim Gray）／デイブ・キャンベル（Dave Campbell）氏らを迎えアーキテクチャを刷新 8KB/ページ 64KB/エクステント 行ロックの導入 SQLOSの採用 IA64上のNUMAサポート Analysis Service／ETLの提供開始 XML のサポート 第3世代 SQL Server 2005／2008／2008R2 IA32からx64への移行 NUMAアーキテクチャの採用 クエリー並列処理機能の強化 動的管理ビューによる内部動作と問題点の可視化 ラージオブジェクト格納への対応 BI機能の強化 第1世代はサイベースの
[ThinkIT] 第7回：大規模データベースにおけるPostgreSQLの性能評価 (1/4)
大規模なデータ環境におけるオープンソースデータベースの性能評価として、再実行可能な共通手順の作成および、その手順に基づく測定と評価を実施した。実施した内容は次の2つである。 手順および結果は、「DB層の評価」報告書（以下、報告書）としてIPA（独立行政法人情報処理推進機構）のWebサイトで公開されている。報告書は具体的かつ詳細に記述してあるが、本記事はその要約というだけではなく、報告書を読み進めるためのガイド役となるように記述した。 なお、PostgreSQLについては、読者に前提知識があるものとして詳細は記述しない。適宜、マニュアル等を参照されたい。 一般的にベンチマークというと、SQLを同時に実行するユーザ数を増やすといった高負荷時の性能測定が思い浮かぶだろう。そういった性能測定にはDBT-1が適しており、前回と前々回の記事に掲載されているのでそちらを参照されたい。 本記事で説明するD
[ThinkIT] 第6回：PostgreSQLは使えるのか？ 〜 あなたの環境での性能特性を調べる (1/4)
第６回：PostgreSQLは使えるのか？ 〜 あなたの環境での性能特性を調べる 著者：野村総合研究所 平野 耕一 2005/6/20 前回と今回、そして次回の3回で、オープンソースのRDBMSの性能特性の測定をテーマとした連載を行っている。前回と今回は、Webトランザクション系システムのデータベースとして、オープンソースのRDBMSがどのような性能特性を持っているのかをテーマとすることにした。 前回はRDBMSとしてMaxDBを扱った。今回はPostgreSQL 7.4.xに主にフォーカスをあてることにする。途中で若干Oracleについても触れるので、興味ある方はご一読いただきたい。 さて今回は、あなたが持っているかもしれない次の質問に答えることを意図している。「Webトランザクション系のデータベースにPostgreSQLが性能的に使えるかどうかを知りたい」。この問いに対する私の答
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
MySQLの達人が語る、パフォーマンスチューニングの勘所
12月9日、都内で、サン・マイクロシステムズ株式会社（以下、Sun）が主催する「事例に学ぶ！オープンソースの実践的導入・活用セミナー ～ 「次の一手」につながる効率的な情報投資とは？ ～」が開催された。当日MySQLパフォーマンスチューニングに関するセッションを担当した、Sun MySQLサポートサービス本部 シニアテクニカルサポートエンジニアの奥野幹也氏は、日々ユーザーのサポート業務を担当しているMySQLのエキスパートだ。 Sunでは、MySQLサブスクリプション契約のうち「Gold」「Platinum」を契約しているユーザーに対して「コンサルティングサポート」と呼ばれる上級サービスをはじめさまざまなサポートを奥野氏が所属する部署で提供している。パフォーマンスチューニングはもちろん、トラブルシューティングや顧客の環境に対する具体的なアドバイスやサポート作業も含まれる、MySQLの包括的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Teradata Tuning | 70 Times Faster With This Simple Trick! | DWHPRO
https://blogs.oracle.com/oracle4engineer/post/entry/post_73
[ThinkIT] 第5回：DBT-1によるMaxDBの評価 (1/4)