第131回 mysqldumpslowを使ってスロークエリログを解析してみる | gihyo.jp
皆さんはスロークエリログを活用していますでしょうか。今回はこの連載でも第7回 スロークエリーログを使って遅いクエリを収集するや第113回 anemoeaterを使ってスローログを可視化してみるで紹介させていただいた、スロークエリログ関連のお話となります。 今回は、mysqldumpslowという、スロークエリログをもっと便利にするコマンドラインツールについて紹介していきます。mysqldumpslowという字面を見ると、mysqldumpでじっくりと時間をかけてダンプファイルを取ってきてくれると思い浮かべるかもしれませんが、全くの別物なので注意しましょう。 検証環境 今回の検証環境は、第125回 phpMyAdminでDockerで建てたMySQLにアクセスするで記載したdocker-composeを利用して作成します。手元で簡単に試せるように、githubの筆者のレポジトリにサンプルコー
Webサービスエンジニアが教えるサーバサイドのログ分析 情報を可視化して負荷状況を見よ
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。後半は、サーバーサイドから見たログ分析について。 サーバ情報を可視化して負荷状況を見る 続いて、サーバの負荷状況を見るところですね。リソースの情報をコマンドで取得してサーバ情報を可視化しましょうというところです。 よく使うのは、1つ目はhtopですね。htopでプロセスごとにどれくらいのメモリやCPUを使っているかを取っていくのがあります。リクエストが多いときにこれを取っていって、どこが重たくなっているかを見るというのがいいかなと思っています。 例えばアプリケーションサーバと同梱されているものだったりとかすると、アプリケーションサーバの負荷がいき
MySQL のロック範囲は実行計画で変わるという話 - mita2 database life
最近、ANDPADでデータベース周りの技術顧問をさせて頂いています。ANDPADのエンジニアの皆さんから「データベースのロックまわりを詳しく知りたい！」というお話を受けて、先日、ロック周りの社内勉強会を開催しました。 SQLでは一般的なプログラミング言語と違って、ロックの制御を明示的に記述しません。ロックは暗黙的に（自動的に）データベースが必要なロックを獲得します。データベースのロックが わかりにくい・むずかしい と言われることが多いのはこういった背景があると思います。 MySQL のロック範囲は実行計画で変わる 更新対象の行がロックされるのは予測が付く方が多いと思います。 しかし、MySQL（InnoDB）では更新対象でなくても行がロックされることがあります。 このようなサンプルデータを使って説明します。 mysql> CREATE TABLE `lockt` ( -> `pk` big
MySQL (MariaDB) でハマった仕様 - kamocyc’s blog
以前，MySQL (正確にはMariaDB) を使った際，いろいろはまったので記載します． 使ったバージョンが古い（MariaDB 10.1.37, MySQL 5.7くらいに相当）なので，最新版では治っているところもいくつかあります． sql_modeをデフォルトの設定で使わない これはよく言われていることですが，sql_modeがデフォルトでは変な値が入ったりエラーになって欲しいところがスルーされたりしてまずいので，適切なsql_modeを設定します． 第18回 MySQL5.7のデフォルトのSQLモードを確認してみる：MySQL道普請便り｜gihyo.jp … 技術評論社 MySQLのSQLモードをstrictモードで設定する。 - Qiita ただ，MySQL 5.7以降はデフォルト設定が改善されたようです．（でも確認すべきですが） MySQL :: MySQL 8.0 Refer
MySQL(InnoDB) で "Index column size too large. The maximum column size is 767 bytes." いわれるときの対策 - かみぽわーる
tl;dr: MySQL 5.5.14以降だとinnodb_large_prefixオプションで3072バイトまでインデックス張れる MySQL(InnoDB)では、ひとつのカラムのキープレフィックスの最大値が767バイトという制限があるので、ついうっかりして Index column size too large. The maximum column size is 767 bytes. とか Specified key was too long; max key length is 767 bytes といったエラーを見たことある人は多いのではないかと思います。 よくあるケースだと、varchar(256)以上のutf8なカラムにインデックスを張ろうとするとこのエラーとご対面できます。 CREATE TABLE t (c varchar(256), index (c)); ERROR
これはすごい！mariadb10 でマルチソースレプリケーションでデータベース統合！ - Database JUNKY
MariaDBでマルチソースレプリケーション 私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談ではありますが、弊社では、３０スキーマはあろうデータベースをこれで一台に集約しておりますので、ちゃんと実績はありますのでご安心を そもそもマルチソースレプリケーションとは何？ 異なる２つのインスタンスのデータベースを、１つのSLAVEでレプリケーションしちゃおうという意味です。たぶん言葉で説明するのは難解なので、図を以下に載せます。 え？これって、昔からできるんじゃないの？と思った方（自分）。実は、MySQLはこれができなかったのです (T_T) MySQLのレプリケーションを触り始めた時は、マルチマスターレプリケーションがそれだと思って
MySQLの「Communications link failure...」の解決方法を調べていて、よく見つけるヤツ - なからなLife
この記事はMySQL Casual Advent Calendar 2017 - Qiitaの5日目のエントリとなります。 みんなだいすきお困りの、アレです。 Oracleだと「ORA-03113:通信チャネルでファイルの終わりが検出されました。」っていう、酷い日本語*1で有名なヤツがあるけど、MySQLだとコレが該当するんじゃないでしょうかね。 (1)interactive_timeoutを増やせ https://ja.confluence.atlassian.com/confkb/attachment-upload-failed-with-communications-link-failure-during-commit-error-250609761.html とかね。 このパターンに当てはまるのは、 1.トランザクション開始 2.なんかSQL発行して、正常終了 3.しばらく放置 4
CentOS7 mysqlがインストールできない - americandog1993の日記
$ sudo yum install mysql-server 読み込んだプラグイン:fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: ftp.iij.ad.jp * epel: ftp.riken.jp * extras: ftp.iij.ad.jp * updates: centosk3.centos.org パッケージ mysql-server は利用できません。 エラー: 何もしませんエラーの原因は正確にはわからないが、デフォルトで入ってるmariaDBと競合する場合があるという記事を発見。 下記の通りに実施したら無事インストールできた。 $ sudo yum remove mariadb-libs $ sudo rm -rf /var/lib/mysql/ $ sudo yum
CentOS 7でrsyslogのログをMariaDBに出力させる | 俺的備忘録 〜なんかいろいろ〜
個人的には、ログはテキストファイルの方が色々と都合が良い(後からの統計取得だったり検知・加工してエラー確認とかシェル芸でできるので)のだが、諸々の事情(セキュリティ的な色々だったり、コマンド操作があまりできない人でも使える状態にしたいなど)によって、テキストファイルでの出力や保管、閲覧が都合が悪い事がある。 で、rsyslogではログをDBに出力可能なので、今回はOSにはCentOS 7を、出力先のDBにはローカルにインストールしたMariaDBを用いる。 1. MariaDBのインストール まずはMariaDB自体のインストールから。以下のコマンドでインストールする。 yum install -y mariadb-server systemctl start mariadb インストール後、以下のコマンドでセキュリティ設定を行う。 mysql_secure_installation 2.
クラッシュセーフなスレーブ - interdb’s blog
MySQLでslaveをクラッシュセーフ*1にするには、 MySQL 5.6以上 relay_log_recovery=ON relay_log_info_repository=TABLE というセッティングが必要。詳細は"こちら"、翻訳版は"こちら"。 ざっくり言えば、リレーログのreplayと同じトランザクションで、InnoDBテーブルにリレーログの情報を書き込みcommitするので、大丈夫だよというお話。 MariaDBがこの機能に追従しないので、どうしたんだろうと思っていたら、MariaDBはGTIDのreplay状態などをgtid_slave_posというInnoDBテーブルに書き込むという技術的選択をしていた。もちろん、書き込むタイミングはreplayとおなじトランザクション。 よって、MariaDB10.0以降は、GTIDを設定すればslaveがクラッシュセーフになる。Mar
これはすごい！mariadb10.0 でマルチソースレプリケーションが可能に - Database JUNKY
MariaDBでマルチソースレプリケーション 私的に待ちに待ったあの機能が追加されました。それは、マルチデータソースレプリケーション、mariadb10.0から実装されるという話は知っておりましたが、ようやく触る機会がきたので試してみようと思います。 余談ではありますが、弊社では、３０スキーマはあろうデータベースをこれで一台に集約しておりますので、ちゃんと実績はありますのでご安心を Habor 3D VRカードボード ゴーグル 3D体験組み立て式メガネ タッチボタン付き 3.5?5.5インチのiPhone/Androidスマホに対応 ベルト付き 出版社/メーカー: Haborメディア: エレクトロニクスこの商品を含むブログを見る 10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA) 作者: 青木峰郎出版社/メーカー: SBクリエイティブ
MariaDBとMySQL-libs。 | ただのにっき。
今更ながら、MySQL互換のMariaDBを使ってみようと思いついた。サーバのOSはCentOS6.4のx86_64版。 で、MariaDBのサイトでyum向けのレポジトリの設定が取得できるので、ささっと設定ファイルを/etc/yum.repo.d/に置いてみた。 ただ、MariaDBを入れる前にMySQL関連のRPMを削除しようと思ったら、「mysql-libs」がやっかいな依存関係を持っていた。例えば、crontabsとかPostfixと依存関係があって、MySQL-libsをアンインストールしようとすると、crontabsとかpostfixも一緒に削除されてしまうようだった。なんか重要なモジュールとの依存関係って微妙だなぁと思っていたところ、試しにyumから「MariaDB-compat」を入れてみたら、MariaDBのモジュールでmysql-libsがリプレースされることがわかった
CentOS 7 に MariaDB Galera Cluster を入れる | あたがわの日記
CentOS 7 に MariaDB Galera Cluster を入れようとしたときに少し躓いたのでメモしておきます。 まず MariaDB Galera Cluster とはなんぞやですが、手軽にクラスタが作れる MariaDB です…って説明が雑ですが、詳しくはググると良いと思いますｗそれのインストールの時に依存関係でちょっと面倒です。 基本的には以下のさくらインターネット研究所さんのページを参考にすればインストール可能です。今回使うのは Minimum な感じでインストールした CentOS 7.0 x86_64 です。 MariaDB Galera Clusterを試す (1) « さくらインターネット研究所 手順通りリポジトリを追加してインストールしようとするのですが…。 # yum install MariaDB-Galera-server MariaDB-client g
MariaDB Galera Cluster 10.1系でSSLを利用する | 俺的備忘録 〜なんかいろいろ〜
MariaDB Galera Clusterで、クライアントとの接続にSSLを利用することができるようなので、設定してみることにした。 調べていると、Galera Clusterのバージョンが10.0系と10.1系で設定方法が違うようだったが、今回は10.1系での設定を行う。 1.鍵ファイルの作成 まずは、Galera Cluster側で以下のコマンドを実行し、公開鍵の作成を行う。 openssl genrsa 2048 > ca-key.pem openssl req -new -x509 -nodes -days 365000 -key ca-key.pem -out ca-cert.pem [root@BS-PUB-GALERA-01 ~]# openssl genrsa 2048 > ca-key.pem Generating RSA private key, 2048 bit l
MariaDBをCentOS 6にyumでインストールする方法
MariaDBとは？ MariaDBは、MySQL派生のオープンソースな関係データベース管理システム（RDBMS）である。 MariaDBの開発は、MySQLのオリジナルコードの作者でMySQL ABの創設者でもあるMichael “Monty” Wideniusにより、 現在オラクルによって所有されているMySQLをフォークして立ち上げられたプロジェクトにより行われている。 配布ライセンスは、GNU General Public Licenseのバージョン2。 via http://ja.wikipedia.org/wiki/MariaDB 基本的にはMySQLと互換のリレーショナルデータベースです。 特別な学習コストなく使えるそうです。 つい先日、MariaDB 10.0.1がリリースされたので、インストールをしてみました。 MariaDBをインストール CentOS 6.3で試してみ
MariaDB、カラム型データベースエンジン「MariaDB ColumnStore」発表。OLAPへ参入
MariaDB、カラム型データベースエンジン「MariaDB ColumnStore」発表。OLAPへ参入 MariaDB ColumnStoreは、その名が示す通りMariaDBのストレージエンジンとして組み込めるカラム型のデータベースエンジンです。 一般のデータベースエンジンはデータを行単位で扱うのに対して、カラム型データベースエンジンは列単位で処理するのが最大の特徴です。 データを列単位で処理すると同一型のデータが並ぶためデータの圧縮効率が高く、また一般に列方向で行われる集計処理も高速に、しかも列ごとに分散して並列に行えるという利点があります。そのためにカラム型データベースエンジンは、大規模な分析や集計処理を得意とするデータベース製品で使われています。 MariaDB ColumnStoreはもともとオープンソースのデータウェアハウス向けデータベース「InfiniDB」をフォークした
MariaDB Serverのバージョンを確認する | 俺的備忘録 〜なんかいろいろ〜
MariaDB Serverのバージョンを確認する場合、何個か方法がある。 1.インストールされているパッケージからバージョンを確認する rpmファイルやdpkgファイルからインストールされている場合(yumやapt-getも同様)、それらの情報からバージョンを確認する事が出来る。 RHEL系の場合 rpm -qa | grep -i mariadb Debian/Ubuntuの場合 dpkg -l | grep -i mariadb 2.MariaDB Serverに接続して確認する mysqlコマンドからMariaDBに接続してバージョンを確認することができる。 なお、特に説明は不要かと思うが、「mysql -V」で確認できるのは"mysqlクライアントの"バージョンなので注意が必要だ。 [root@BS-PUB-GALERA-02 ~]# rpm -qa | grep -i mari
MariaDB(MySQL)でmysqlコマンドから接続時のみautocommitを無効にする | 俺的備忘録 〜なんかいろいろ〜
MariaDBやMySQLでは、デフォルトでautocommitが有効になっているんだけど、コンソールなどから接続する際にはこれが結構迷惑になる。 通常、データベースなんてアプリケーションなどが利用して、コンソールから操作するって時点でイレギュラー対応の方が多いので、間違えて変な操作すると大変な事になったりする。 では、mysqlコマンドから接続した場合に、autocommitを無効にするにはどうすればよいのか？ 単純に、コマンドを実行するホストの設定ファイル(通常だと/etc/my.cnf.d/client)に、以下の一行を追記すればよい。 [client] init-command='set autocommit=0' それでは、実際に動作を確認してみよう。 [root@BS-PUB-GFRONT-01 ~]# grep -B 1 'init-command' /etc/my.cnf.
MariaDBでGalera Clusterを構成する(CentOS 7使用) | 俺的備忘録 〜なんかいろいろ〜
仕事でMariaDBによく触れるようになったので、自宅でも環境を構築しておくことにした。 で、当然DBなので中のデータが飛ぶと非常にまずいわけで、冗長性やバックアップを取得して備えておくわけなんだけど、MariaDBではGaleraClusterというクラスタが利用できる。 GaleraClusterは、マルチマスタで動作するクラスタで、組み込まれているノード全てで同じデータを保有、各ノードからデータベースの更新を行わせる事もできる。 だから、(極端な話)ディスク障害で3台中1台しかノードが生き残らなくても、そこからデータを復元させることも出来るのだ。 なお、各ノード間の連携はTCP/IPで行われているので、疎通が取れる環境であることが前提となる。 今回は、GaleraClusterの推奨が3台以上のノードでの構成のため、そのように構築する。 基本的に、以下の手順は3台全てで実施する必要が
MariaDBでmysqlコマンドを使ってSQLの結果をカラム無しの値のみ取得する | 俺的備忘録 〜なんかいろいろ〜
仕事で、SQLで取得した値に応じて処理を変えるようなスクリプトが必要になったのだが、その際に普通にコマンドを実行するとカラムも一緒に出力されてしまい、データとして扱いにくいという事があった。 mysql -u root test -e 'SQL文;' [root@localhost log]# mysql -u root test -e 'select name from test where num = 2;' +--------+ | name | +--------+ | TEST-2 | +--------+ ここで値だけを取得する場合は、mysqlコマンドに「-ss」オプションをつけると良いだろう。 [root@localhost log]# mysql -u root test -ss -e 'select name from test where num = 2;' TEST
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
