第131回 mysqldumpslowを使ってスロークエリログを解析してみる | gihyo.jp
皆さんはスロークエリログを活用していますでしょうか。今回はこの連載でも第7回 スロークエリーログを使って遅いクエリを収集するや第113回 anemoeaterを使ってスローログを可視化してみるで紹介させていただいた、スロークエリログ関連のお話となります。 今回は、mysqldumpslowという、スロークエリログをもっと便利にするコマンドラインツールについて紹介していきます。mysqldumpslowという字面を見ると、mysqldumpでじっくりと時間をかけてダンプファイルを取ってきてくれると思い浮かべるかもしれませんが、全くの別物なので注意しましょう。 検証環境 今回の検証環境は、第125回 phpMyAdminでDockerで建てたMySQLにアクセスするで記載したdocker-composeを利用して作成します。手元で簡単に試せるように、githubの筆者のレポジトリにサンプルコー
踏み台サーバーを経由したMySQLアクセス（ポートフォワーディングで） at softelメモ
問題 Bサーバーからなら接続可能なMySQLサーバーAに接続したいのだけど、BサーバーにsshができるCサーバーから接続したい。 C（クライアント） → B（踏み台） → A（DB） （C → A はできなず、C → B、B → A ならできる構成で） 答え sshポートフォワーディングするとこんな感じ。 ssh -f -N -L 3306:{DB_HOST}:3306 -i {SECRET_KEY} {SSH_USER}@{SSH_HOST} パスワード手入力なら ssh -f -N -L 3306:{DB_HOST}:3306 {SSH_USER}@{SSH_HOST} 例） ssh -f -N -L 3307:172.28.123.123:3306 sshuser@192.168.123.123 上記コマンド実行後、ローカルの3307ポートに接続すると、ポート転送で 192.168.
データベースのドキュメント管理を自動化した話 - estie inside blog
こんにちは、今回はデータ基盤構築を担当しているmarushoがお送りします。 今日はestieで実践しているデータベースのドキュメント管理方法をご紹介します。 はじめに 独自成長していくデータベースたち 失われたドキュメント どうすれば低コストなドキュメント管理ができるのか そして生まれた、schema collectorという自動化ツール SchemaSpy Mysql diff Priv Page ECS タスクスケジューラ ドキュメントを腐らせない おわりに はじめに estieはオフィスを中心とした不動産データを取り扱うスタートアップ企業です。 estie（オフィス探しサービス）とestie pro（不動産事業者向けデータプラットフォーム）の2つのサービスを運営しています。 詳しくは、こちらの記事をご覧ください。 inside.estie.co.jp estieでは、不動産に関する
MySQLに投げられたすべてのSQLクエリをロギングする - モヒカンメモ
概要 クエリビルダやORMが生成するクエリを確認したいなどの理由で、MySQLに投げられたクエリを確認したくなることがある そういうときは、MySQLのクエリログ (general_log) と言う設定をONにすることによって、すべてのクエリをログに吐かせることができる dev.mysql.com 5.2.3 一般クエリーログ 一般クエリーログは、mysqld の実行内容の一般的な記録です。サーバーは、クライアントが接続または接続解除したときに情報をこのログに書き込み、クライアントから受け取った各 SQL ステートメントをログに記録します。一般クエリーログは、クライアント側でエラーが疑われるとき、クライアントが mysqld に送信した内容を正確に知りたい場合に非常に役立つことがあります。 やってみる 1. 現在の設定を確認する mysql> select version(); +----
PythonでMySQLを使うならoratorがすごくおすすめ(ActiveRecord・ORM) | 東京エンジニア
Pythonのpymysqlはクエリー書くのがめっちゃめんどくさい PythonでMySQLにデータを保存するときにpymysqlを利用していました。 追加・変更・削除などできるのですがめっちゃめんどくさいです。 PHPで例えるとmysql_connectを使っているのと同じです。 自動コミットじゃないので自動コミットするように宣言したり実行宣言したりと大変です。 自分でActiveRecordっぽいものを作ってみましたが微妙過ぎる。。 ActiveRecordっぽいことしてくれるものがないか調べたところありました！！ それがorator oratorはオブジェクト関係マッピング(ORM)でActiveRecordのように操作することができます。 oratorなら追加・更新・削除がすっきり書ける oratorはPHPフレームワークのLaravelにインスパイヤされているため Laravel
InnoDBの監視 ~ mackerel-plugin-mysqlを読み解く その2 - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の20日目です。 qiita.com soudai.hatenablog.com それでは20日目は mackerel-plugin-mysql 第二弾、InnoDBの監視です。 mackerel-plugin-mysqlはRDBMSとして広く使われているMySQL専用のプラグインです。 第一弾はこちら。 soudai.hatenablog.com インストール方法や使い方、MySQLのデータ取得で使っているSQLは前回説明したので割愛します。 前回はMySQL全般に言える監視の内容でした。 今回はその中でもInnoDBに特化した内容でお送りします。 見れるメトリック それでは各グラフ定義ごとに説明します。 また表に出てくるdiffとはプラグイン上で差分値計算をするかどうかです。 ◯ となっている項目はプラグインで
mysqldiff を使って継続的に MySQL のデータベーススキーマの差分をチェックする - kakakakakku blog
最近，環境ごとのデータベーススキーマの差分をチェックする機会があった．プロダクション環境とステージング環境ならまだしも，開発環境だと検証のために追加したインデックスがそのままになっていたり，開発が途中で止まってしまって日の目を見ることがなかったテーブルが残っていたり，そういうことって比較的あるのではないかなと思う．特に今の環境だと，マイグレーションの仕組みが整っていないという課題もあり，より一層，データベーススキーマに差分が出やすくなってしまっている． 今回は MySQL から公式に提供されている mysqldiff というツールを使ってデータベーススキーマの差分をチェックした． mysqldiff をインストールする mysqldiff は MySQL Utilities という MySQL の管理ツールパッケージの中に同梱されている．現在だと v1.6 が最新になっている． MySQL
CentOS 7でrsyslogのログをMariaDBに出力させる | 俺的備忘録 〜なんかいろいろ〜
個人的には、ログはテキストファイルの方が色々と都合が良い(後からの統計取得だったり検知・加工してエラー確認とかシェル芸でできるので)のだが、諸々の事情(セキュリティ的な色々だったり、コマンド操作があまりできない人でも使える状態にしたいなど)によって、テキストファイルでの出力や保管、閲覧が都合が悪い事がある。 で、rsyslogではログをDBに出力可能なので、今回はOSにはCentOS 7を、出力先のDBにはローカルにインストールしたMariaDBを用いる。 1. MariaDBのインストール まずはMariaDB自体のインストールから。以下のコマンドでインストールする。 yum install -y mariadb-server systemctl start mariadb インストール後、以下のコマンドでセキュリティ設定を行う。 mysql_secure_installation 2.
MySQLのレプリケーション手法の違い | Yakst
ソリューションエンジニアチームに所属する筆者が、今では様々な手法が存在するレプリケーション機能について、改めて特徴や注意点を解説しつつ、レプリケーションのよくある「誤解」に対してもお答えしています。 このブログ記事では、MySQL（および Percona Server）環境におけるレプリケーション手法に関して改めて考察を行いたいと思います。あわせて、時折見受けられるレプリケーションの間違った考え方についても考えてみます。 私がソリューションエンジニアとして働き始めてからというもの、沢山の情報が公開されているにも関わらず、レプリケーションに対する「誤解」や「不完全な理解」が無くならないことを日々感じていました。 そもそもレプリケーションとは何か？ レプリケーションは、1つのデータベースにデータを蓄積するだけでなく、別のデータベースにデータを複製し、転送することを保証してくれる機能です （複製
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ
MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------
INSERT ON DUPLICATE KEY UPDATE って便利！！ - スタジオ・アルカナ技術ブログ
プライマリーキーや、ユニークキーが重複した際にUPDATEをかける、MySQLの便利な構文INSERT ON DUPLICATE KEY UPDATE。 これを使って一括更新(挿入)する方法を今更ながら知りましたので、メモ！ テスト用のテーブルの準備 まず、こんなテーブルを作成。 CREATE TABLE `duplicate` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `value` varchar(255) NOT NULL, `update_at` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHAR
【MySQL】総メモリー使用量を算出するSQL作ってみた - もぐめぽろぐ
必要メモリ量＝グローバルバッファのサイズ＋（各スレッドのバッファサイズの合計 × 最大接続数(max_connections)） 各スレッドのバッファサイズの合計とは、以下の値の合計値です。 sort_buffer_size myisam_sort_buffer_size read_buffer_size join_buffer_size read_rnd_buffer_size グローバルバッファのサイズは、以下の値の合計値です。 key_buffer_size innodb_buffer_pool_size innodb_log_buffer_size innodb_additional_mem_pool_size net_buffer_length ※実践ハイパフォーマンスMySQL による とあるのだが、一般的にいわれてる計算式はさらにそれに+query_cache_sizeがプラ
MySQL Clusterのバックアップ／リストアの具体例
本連載では、実際に「MySQL Cluster」を利用するためのチュートリアルとなるように、その特徴と基本的なアーキテクチャからインストール方法、基本的な操作などをコマンド付きで解説していきます。第5回の今回は、MySQL Clusterのバックアップ／リストアの具体例について解説します。 前提となる環境 記事中のコマンド例は、第2回でインストールした環境を前提としています（追加設定として、mysqlユーザーの環境変数"PATH"に"/home/mysql/mysqlc/bin"も追加した状態）。 第4回で解説した“バックアップ、リストア関連のパラメータ”は明示的に設定していませんので、全てデフォルト設定となっています。今回のチュートリアルでバックアップが格納されるディレクトリはBackupDataDirのデフォルト値である“FileSystemPath/BACKUP”です。FileSys
MySQL で INSERT と UPDATE を1文で実現する ～ ON DUPLICATE KEY UPDATE 編～ | UB Lab.
データベースにデータを登録する際に、INSERT と UPDATE か判断して実行しなければならないことがある。たとえば、カテゴリーの追加と更新を行うページで、ID が付与されている場合は ID をキーにして UPDATE、されていなければ INSERT を行うようなケースだ。前回は REPLACE 構文を使う方法を説明したが、REPLACE 構文は INSERT と DELETE を組み合わせて実行するため不便な点も多い。今回は、INSERT 構文で ON DUPLICATE KEY UPDATE を利用する方法を紹介する。 使い方 INSERT 構文で ON DUPLICATE KEY UPDATE を使う場合、INSERT 文と UPDATE 文を組み合わせたような SQL になる。 INSERT INTO table ( id, category_name, update_coun
MySQL のトリガからシェルスクリプトを実行する - akishin999の日記
久々の更新。 MySQL の特定のテーブルのデータ変更を検知して実行したい処理があったので、トリガを使ってなんとか出来ないか調べてみました。 system 関数を使う 最初 system 関数(\!) を使ってできそうな以下の記事を見つけました。 MySQL :: Re: Can triggers call SYSTEM? http://forums.mysql.com/read.php?99,170973,236208#msg-236208 が、mysql client 上からは上手く動くものの、アプリからの DB 変更に反応してくれず・・・。 ちょっと調べてみると以下のような記事がありました。 Using the following DOES NOT work! \! /bin/ls >> /log/yourlog.txt The !\ (bang or exclamation poi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【MySQL】 レコードが無い場合→INSERT、ある場合→UPDATEする「INSERT ... ON DUPLICATE KEY UPDATE 構文」を試してみる。 | バシャログ。
mysqlのmysqldumpからテーブル指定で復元 - Qiita
GitHub - zzzeek/sqlalchemy: THIS IS NOT THE OFFICIAL REPO - PLEASE SUBMIT PRs ETC AT: http://github.com/sqlalchemy/sqlalchemy
MySQLのバックアップ運用について色々