GitHub.com を MySQL 8.0にアップグレード
Authors Jiaqi Liu Daniel Rogart Xin Wu GitHubは、15年以上前に単一のMySQLデータベースを持つRuby on Railsアプリケーションとしてスタートしました。それ以来、GitHubは高可用性を構築する、テスト自動化を実装する、データのパーティショニングを行うなど、プラットフォームのスケーリングと可用性のニーズを満たすために、MySQLアーキテクチャを進化させてきました。今日、MySQLはGitHubのインフラストラクチャの中核を担い、選択可能なリレーショナルデータベースの一部です。 このブログは、1200台以上のMySQLホストを8.0にアップグレードした物語です。私たちのサービスレベル目標(SLO)に影響を与えることなくフリートをアップグレードすることは小手先の技で済むようなものではありませんでした。計画、テスト、そしてアップグレード自体
MySQLで階層構造を扱うための再帰的なクエリの実装方法と実用例
１．はじめに RDBでの階層構造の関係を持つデータを扱う上で、 効率的なデータの持ち方や抽出方法について検証を行っています。 結論から先に 階層構造を扱う方法として下記の種類があります。 隣接リスト 経路列挙 入れ子集合 閉包テーブル 再帰クエリ（WITH RECURSIVE）を使うと階層データを扱う上でのパフォーマンスが得られます。 検索性、更新量、データ量など加味すると隣接リストで再帰クエリを用いるのがよさそう。 ２．階層構造を持つデータの概要 階層構造を持つデータとは 複数の要素（データ）が親子関係で結びついている構造を持つデータ 1つの要素が複数の要素の親になることができ、 また、1つの要素が複数の子要素を持つこともあります。 ある要素を親として、細分化された子要素であったり、 類似する要素を抽象化したものを親要素とするようなデータ。 階層構造を持つデータの例 組織における事業部、
Amazon Aurora MySQL データベース設定のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL データベース設定のベストプラクティス AWS クラウドで新しい Amazon Aurora MySQL インスタンスを移行または起動した後、以下の質問のうち 1 つ以上を自問したことはありますか? 「次のステップは? どうすれば、最適に動作させることができるでしょうか?」 「既存のパラメータを変更する方が良いでしょうか?」 「どのパラメータを変更すれば良いでしょうか?」 自問したことがあるなら、何をすべきか（そして、何をすべきでないか）について、このブログ記事がガイダンスを提供できることを願っています。 この記事では、MySQL との互換性を持つ Amazon Aurora の設定パラメータについて説明、明確化し、推奨事項を提供します。こうしたデータベースパラメータとその値は、AWS クラウドで新しく作
MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる
仕事やらなんやらでMySQLのクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触ったのか)も一緒に提示するようにしている(少なくともMySQL 5.7時点ではrows_examinedはslow_query_logでしか確認できないはずperformance_schemaが有効ならevents_statements_historyやその仲間たちで確認できるとのこと*1 MySQL :: MySQL 5.6 リファレンスマニュアル :: 22.9.6 パフォーマンススキーマステートメントイベントテーブル)。 例: 上の例のBeforeは、もともとDBAが書いた温かみのあるSQLでO
ajitofm 16: Machine Learning for Systems
ajiyoshiさんとLearned Index Structures、機械学習とシステム、コンテナ、Go、Makefileなどについて話しました。 ep35 ラーソーメン : wyukawa’s podcast The Case for Learned Index Structures Machine Learning for Systems and Systems for Machine Learning (pdf) | Jeff Dean, NIPS 2017 Real-Time Adaptive Image Compression Machine Learning Developer Meetup Tokyo Amazon Elastic Container Service Dockerコンテナ時代の第一章の終わり、そして第二章の展望など | Publickey Opening D
MySQL :: Sakila Sample Database
This document describes Sakila sample database installation, structure, usage, and history. For legal information, see the Legal Notices. For help with using MySQL, please visit the MySQL Forums, where you can discuss your issues with other MySQL users. Document generated on: 2023-12-18 (revision: 77523)
5.6 以前の InnoDB Flushing
Bind Peek をもっと使おうぜ！(柴田 歩) - JPOUG Advent Calendar 2014(Day 5) -歩 柴田
Aurora 移行をキッカケに大きく改善したデータベース運用 | CyberAgent Developers Blog
はじめに クラウドファンディングプラットフォーム Makuake でウェブオペレーションをメインで担当している吉田慶章 ( @kakakakakku ) です．Developers Blog では，過去に『Well-Architected を目指した改善と組織文化への影響』を執筆したり，『「経営層を巻き込まないと開発組織は変わらない」――急成長するクラウドファンディングサービス「Makuake」エンジニアが社長と取り組んだこと』で組織変革をテーマにしたインタビューを受けたりしています．今回はサービスで使っているデータベースを MySQL 5.5 on EC2 から Amazon Aurora（以下，Aurora）に完全に移行した事例を紹介したいと思います．既にリリースをして約1ヶ月稼働していますが，大きな問題もなく安定稼働しています． 背景 例えばウェブサーバなど，既にスケールアウトが前提
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
mysqldiffでテーブル定義の違いをチェックする | Yakst
MySQL Performance Blogの翻訳。MySQL Utilitiesに含まれるmysqldiffコマンドを使うと、サーバ間あるいは同一サーバ内でのテーブル定義の違いをチェックし、一致させるにはどうするべきかが分かる。使い方と簡単な仕組みの解説。 レプリケーション環境でデータの不整合が発生するのはよくあることでしょう。pt-table-checksumやpt-table-syncを使ってそういった問題を解決する方法を解説した記事はたくさんあります。多くの場合、データの整合性には気を使うと思いますが、サポート窓口では、以下のような質問を受けることもよくあります。 サーバ間でテーブル定義が一致しているか調べる方法は？ レプリケーションをしていても、マスタスレーブ間で異なったテーブル定義にしておくことは可能です。例えば、スレーブでは参照クエリのためにインデックスが必要だけれども、マス
稼働中のMySQLを無停止でレプリケーション環境を構築する - Qiita
個人メモです。稼働中のサービスを停止できないけど、スレーブを増やしたい（増殖したい）なんて場合に使える技になります。 マスターのバックアップ まず、スレーブ側のホストでマスターのスキーマ（例では、schema1 schema2のバックアップをとります。この際に、--master-data と --single-transaction は必須です。 --master-data を指定しますと、master側のバイナリログファイルとポジションを取得することができます。 --single-transaction を指定しますと、innodbの場合は、マスターサーバ側のデータベースをロックせずに、dumpすることが可能です mysqldump -h remote_host --databases schema1 schema2 -u myuser -pmypasswd --master-data
MySQL :: MySQL 8.0 リファレンスマニュアル :: 5.1.10 サーバーステータス変数
MySQL サーバーは、その操作に関する情報を提供する多くのステータス変数を保持します。 これらの変数およびその値は、SHOW [GLOBAL | SESSION] STATUS ステートメントを使用して表示できます (セクション13.7.7.37「SHOW STATUS ステートメント」を参照してください)。 オプションの GLOBAL キーワードはすべての接続にわたって値を集計し、SESSION は現在の接続についての値を表示します。 mysql> SHOW GLOBAL STATUS; +-----------------------------------+------------+ | Variable_name | Value | +-----------------------------------+------------+ | Aborted_clients | 0 |
EC2インスタンス上のMySQL5.5からAuroraへの移行 - Qiita
今回はレガシーインフラの改善として、EC2インスタンス上のMySQL5.5から AWSサービスのAuroraへの移行を行いました。 全体作業の流れ 作業としては、以下の流れで作業を行いました。 1. 旧MySQLからAuroraへレプリケーションを行う 2. アプリ側を切り替える 以上。 という、とても簡単な手順で移行出来ました。 それでは、作業の詳細です。 １、旧MySQLからAuroraへレプリケーションを行う １-1、EC2インスタンス上のMySQL5.5からデータをdumpする $ mysqldump --master-data=2 --single-transaction --order-by-primary --databases hoge fuga > some.dump.txt --master-data=2 マスタのポジションがコメントで出力されます --single-t
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） こんにちは、インフラ担当新人の nob です。 サーバー監視ツールで MySQL を監視しているのにデータが多すぎて活用していない。という方はいませんか？その豊富なデータをパフォーマンス・チューニングに活用しない手はありません。今回はサーバー監視ツールのグラフを読み解いた実戦経験を元に、「これだけ見れば大丈夫」というツボをまとめてみました。 これだけ見れば大丈夫！ クエリ編 ３つのつぼと５つのグラフ （その１）監視ツールが何を見ているのか知る （その２）監視のキモ、グラフ３点セット (Questions, Lock Waits と Transaction Handler) （その３）グラフでチェックする SQL チューニング ( Select Type と Handler) シンプルでお勧め、サーバー監視グラフ化ツール
ZabbixでMysqlを監視する
今回は、Mysqlサーバをリソース監視システム(Zabbix)でリソース・死活監視する方法について整理して見ました。 運用中のMysqlのリソースを監視し、パフォーマンスのチューニングポイントを見つけてみましょう。 インストール環境とバージョン 今回、インストールするサーバとzabbixのバージョンは以下のようになります。 名前 バージョン ダウンロード元 ubuntu 10.04.4(64bit) http://releases.ubuntu.com/lucid/ ZABBIX 2.2.0 http://www.zabbix.com/ Zabbix Serverインストール 「Zabbix Serverのインストール手順」を参照してください。 Zabbix Agentインストール 「Zabbix Agentのインストール手順」を参照してください。 ※AgentサーバにはMysqlが設置さ
MySQLの負荷が高くて困ったときにやること - Qiita
遅刻してごめんなさい！ ここでは、「負荷が高い」とはリソースが枯渇した、あるいは枯渇しそうな状態で、かつそれがシステムに影響を及ぼしている、あるいは影響を及ぼしうる状態を指します。 負荷の傾向を見る snmpdが返す値や SHOW ENGINE INNODB STATUS などの値を見て負荷の傾向を見ましょう。 当社ではCloudforecastを使ってこれらの情報メトリクスとして収集しています。 メトリクスを常に計測しておき、通常の状態と異常な状態を可視化しておくことは非常に重要です。 CPUネックかIOネックか 負荷の原因としてどのリソースが不足しているのかを見極めます CPUが原因で詰まっているか、IOが原因で詰まっているか、という具合で大別できるのでまずそれを見ましょう。 CPUネックの場合はCPUを100%近く使いきっていることが多いです。 また、複数コアあって一部のコアを使い切
Webyog | Tools for MySQL and MariaDB Databases
Empower database administrators and developers to save time and do their best work with Webyog’s MySQL monitoring and management tools. Our tools work with on-premise, cloud, and hybrid databases. Tired of manually monitoring every single piece of activity in your MySQL databases? Database administrators don’t need to be “always on” in an age of advanced automated technology. Get tireless performa
Checking table definition consistency with mysqldiff
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
CVE-2016-6662 MySQL Remote Root Code Execution / Privilege Escalationについて - Qiita
CVE-2016-6662 MySQL Remote Root Code Execution / Privilege EscalationについてMySQL 免責 取り敢えずわかっている範囲で書いただけなので、手元で再現やパッチの正当性は確認していません。 自己責任でどうぞ。 これ(2016/09/22 22:00)以降新しい情報が出てきても、おそらくもう更新しません。 CVE-2016-6662 についてはこちら MySQLに重大な脆弱性見つかる、パッチ存在せずデフォルトで影響 - ITmedia ニュース oss-sec: CVE-2016-6662 - MySQL Remote Root Code Execution / Privilege Escalation ( 0day ) この脆弱性を再現させるために必要なもの (未検証) 5.5.52, 5.6.33, 5.7.15は影響を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://aws-ref.s3.amazonaws.com/aurora/Amazon+Aurora.pdf