MySQLのリファレンスマニュアルにあるEBNFは全てを表現していないので注意が必要 - 風に吹かれても
タイトルの通りです。 前提 MySQLのリファレンスマニュアルの構文のページにはEBNFが書いてあります。 例としてCREATE TABLE文のページを用意しました。ページの上のほうにEBNFによって定義された文法が書かれています。 dev.mysql.com EBNFに定義されていない書きかた 前のセクションでCREATE TABLE文のリファレンスマニュアルを参照しました。このセクションではこのCREATE TABLE文の文法の話をします。ですのでこれ以降はリファレンスマニュアルのEBNFを用意いただき一緒に読んでもらうと楽しめると思います。 次のSQLはMySQL8.0.33で正常にパースできます。 CREATE TABLE user ( id BIGINT ) DEFAULT CHARSET = utf8mb4; なので文法としては正しいということが分かります。しかしEBNFだけを
Performance Schemaの仕組みと活用法の紹介 - freee Developers Hub
メリークリスマス！！freee Developers Advent Calendar 2022 25日目担当のid:shallow1729です！昨日はtdtdsさんでfreee特有の風土病：エンジニアの症例と寛解についてでした！ 僕からはMySQLのPerformance Schemaという機能の仕組みの解説とfreeeでの活用についての紹介をします。 前置き Performance SchemaはMySQLで実行されるトランザクションやクエリなどの実行時の様々な情報を取得してくれる機能です。特に面白いのは後で説明するようにstageやwaitなどのMySQLの実装レベルでのモニタリングを提供してくれているところで、これを使う事でどのあたりがボトルネックになっているかについて実際のProduction環境のワークロードで分析できる点です。また、最近だと例えばAWSのRDSを用いているとPe
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
Amazon Aurora MySQL がリードレプリカの可用性を改善
Amazon Aurora MySQL 互換エディションは、ライターノードの再起動を通じて読み取りの可用性を維持するようになりました。これまでは、ライターノードが再起動すると、Aurora MySQL クラスター内のすべてのノードも再起動していました。本日のリリースにより、リーダーノードはライターノードの再起動中に読み取りリクエストを処理し続けるようになり、これによりクラスターでの読み取りの可用性が改善されます。 計画されたライターノードの再起動は、通常、binlog の有効化や無効化などの静的パラメータを適用するために行われます。これらの再起動を通じて読み取りの可用性を維持することは、ライター設定に変更を加えることによる影響を軽減するのに役立ちます。さらに、フェイルオーバーが発生した場合の可用性が向上します。この場合、リーダーノードは引き続き使用可能であり、新しく昇格したライターに再接続
MOCO - Kubernetes 用 MySQL クラスタ運用ソフトウェア - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズの Kubernetes 基盤を開発している Neco プロジェクトの ymmt です。 サイボウズ製品のほとんどはデータベースとして MySQL を採用しています。 現在 400 を越える MySQL のインスタンスを運用しており、これら全てを新しい Kubernetes 基盤に移行していく予定です。 Kubernetes 上でアプリケーションやミドルウェアの運用を自動化するソフトウェアのことをオペレーターと言います。 大量の MySQL インスタンスを Kubernetes 基盤に移行するにはオペレーターが必須であると考え、技術顧問の @yoku0825 さんの監修の下で MOCO というソフトウェアを開発しオープンソースライセンスで公開しました。 本記事では Kubernetes 上の MySQL オペレーターの状況と、開発した MOCO の機能を詳細に解説いたします。 M
docker-compose での MySQL の疎通確認で telnet を使う時に自動でコネクションを切る - Feedforce Developer Blog
こんにちは、id:tsub511 です。 TELNET プロトコルには全く馴染みがないのですが、今回たまたま使う機会があり、かつ調べても割と見つけられない情報だったので記事を書いてみました。 curl で TELNET プロトコルを使う ユースケース 解説 curl で TELNET プロトコルを使う curl は HTTP/HTTPS 以外のプロトコルも使うことができます。 curl のドキュメントを確認すると、サポートしているプロコトルは DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMB, SMBS, SMTP, SMTPS, TELNET and TFTP のようです。 $ man curl # in macOS c
MySQLバージョンアップによるInnoDB性能劣化可能性事件簿
一般論ですが、どんな基盤ソフトでもCPUスケールを上げようとすれば、何らかの排他制御を細かく行うことになるのでCPUのパイプライン処理にブレーキをかけるアトミックな処理が増えて、バージョンが上がるとある程度はシングルスレッドの処理は重くなっていきます。前エントリのような言語の高度化により遅くなる事情もあります。（中には、Redisのように並列を捨てて排他処理を完全排除する潔い逆振りプロダクトもありますが。） とはいえ、「これは（条件付きとはいえ）急に遅くなりすぎだろ！」と私も思うバージョン（回避策はある＆一開発者の一存ではどうにもできない）があるので遡って何点か挙げて注意喚起したいと思います。 これらはある程度限られた条件で発生するので世間では怪奇現象扱いされている可能性もあります。 何故こんなことになるのかというと、基盤となるmysqld側の変更に上手くついていけなくなってるか、性能上メ
Tuning MySQL/InnoDB Flushing for a Write-Intensive Workload
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
トランザクション技術とリカバリとInnoDBパラメータを調べた - たにしきんぐダム
トランザクションはACID特性を満たすと言われている。 そのうちA(Atomicity)はトランザクション内の操作をAll or Nothingとなるよう保証し、トランザクションが中途半端に実行されて(アプリケーションレベルから見た)データの整合性が失われることを防ぐ特性。またD(Durability)とはシステム運用中に起こる様々な障害からデータを守る(整合性を保つ)特性。 これらの特性を満たすためのDBMSの古典的なテクニックがすごく面白いので、それに関するMySQL(主にInnoDB)のパラメータ・パフォーマンスにどのような影響を及ぼすかを調べた(*'ω'*) なお紹介している技術は基本的に教科書に書かれていた技術で、実際にInnoDBに実装されているアルゴリズムとは異なることがある(とはいえベースにはなっている) 参考 障害の種類 DBMSの基本構成 データベースバッファ 概要 関
第53回 MySQL＆ PostgreSQLの2019年の主なニュースと、オープンソースカンファレンス2020でのOSS-DB企画 | gihyo.jp
OSSデータベース取り取り時報 第53回MySQL＆ PostgreSQLの2019年の主なニュースと、オープンソースカンファレンス2020でのOSS-DB企画 本年も、OSSコンソーシアム データベース部会のメンバーによる本連載をよろしくお願いいたします。今回は年始恒例のMySQLとPostgreSQLの2019年の主なニュースを紹介します。また、大阪と東京で開催される、オープンソースカンファレンスでのデータベース特別企画へのお誘いもあります。 オープンソースカンファレンス大阪／東京でOSSデータベース特別企画 全国で開催しているオープンソースの祭典、オープンソースカンファレンス（OSC）の2020年開催が始まります。大阪（1月）と東京（2月）で、複数種類のOSSデータベースやその関連情報をまとめてお聴きいただける特別企画を準備中です。OSSコンソーシアムデータベース部会が、他のOSS団
MySQL 8.0.17のCLONE INSTANCE FROMを使うとすごく楽にレプリケーションスレーブが作れる
TL;DR 日々の覚書: MySQL 8.0.17でついにCloneプラグインが入った で紹介した CLONE LOCAL DATA は現在のdatadirをローカルのファイルシステムに一貫性のある形でコピーするステートメントだった これをスレーブになるサーバーに転送してやってももちろん良いんだけど、そこまで一括でやってくれる CLONE INSTANCE FROM のステートメントも存在する スレーブ増やすのが捗る CLONE INSTANCE FROM を使うためには、データのコピー元（ ドキュメント 上では ドナー(Donor) ）とコピー先（同 レシピエント(Recipient) ）それぞれのMySQLでCloneプラグインが有効化されていないといけない。 donor> INSTALL PLUGIN clone SONAME 'mysql_clone.so'; recipient>
RDS for MySQL5.6 から Aurora（MySQL 5.6 互換）へ移行しました - Feedforce Developer Blog
ソーシャルPLUS 開発チームでインフラエンジニア をやっています id:mayuki123 です。気づけば入社から10ヶ月ほど経っていました。 ソーシャルPLUSのメッセージ機能については1年半ほど前にAurora移行を実施していますが、2019年2月中旬にメインのソーシャルログイン機能で利用している データベースをRDS for MySQL5.6からAmazon Aurora(MySQL 5.6 互換）に移行することが出来ました。 developer.feedforce.jp Auroraに移行する利点等は多くの方がまとめているかと思うので、今回はデータベース移行で実施した手順に着目して書こうと思います。 準備期間と移行作業の概要 データベース移行方法の選択 AWSのDMSとは AWSのDMSのリソースについて データロードの種類 新しいAurora環境の構築 データベースインスタンス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streaming MySQL Binlogs to S3 (or Any Object Storage)
KLab
https://developer.hatenastaff.com/entry/2019/01/15/120431