タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
オンライン DDL を期待して ALTER 文を実行したら障害になりかけた話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシではマルチプロダクト化に向けて、認証・認可の切り出しを進めています。その対応を進める中で、既存テーブルへのカラム追加が必要になりました。 先日、そのリリースのために本番データベースにマイグレーションの ALTER 文を実行したところ、クエリが詰まって危うく障害になるところでした（幸いすぐにキャンセルして事なきを得ました）。 原因を調べたところ、オンライン DDL は複数の条件が関係することがわかりました。オンライン DDL に対する知識不足と事前検証の甘さゆえのミスでしたが、結果的には良い学びが得られました。 カミナシのバリューのひとつである「全開オープン」の気持ちで、事の顛末やそこから得た学びを公開します。 なお、今回の話は MySQL 5.7 互換の Amazon Aurora MySQL 2 で確
ChatGPTを使ってDDLからER図をすばやく作成する - Taste of Tech Topics
最近、酢を飲むと健康に良いという話を聞き、頑張って毎日飲んでいるkonnoです。 何となくですが、朝の目覚めは良くなっている気がしますよ！ 今回はデータベース設計に欠かせないER図を、ChatGPTを使ってDDL（Data Definition Language：SQLのデータ定義言語）から簡単に作成できるのか試してみたいと思います。 サンプルとなるDDLを用意 DDLのサンプルとして、以下のMySQL公式サイトで公開されている従業員データベースを利用します。 dev.mysql.com 従業員データベースに必要なファイル類一式は、上記サイトで紹介されている以下のGithubリポジトリから、 "test_db-master.zip"としてダウンロードできます。 github.com ダウンロードしたtest_db-master.zipには、従業員データベースを設定するために必要なDDLとし
こんにちは。最近リモートワーク用にマイクを買ったソフトウェアエンジニアの福間(fkmy)です。 先月、ANDPADのデータベースの技術顧問をして頂いてる三谷(mita2)さんによるロックの基礎編)〜について勉強会を開催しました。今月はロックのDDL編について8/4(月)に勉強会を実施しました。重要な箇所をピックアップします！ また今回も在宅勤務期間中のためオンライン開催となり当日は16名が参加していました。 内容 当日の資料はこちらになります。 DDLについて DDLとはData Definition Languageの略称でデータ構造を定義するための言語のことです。SQLではCREATE文、DROP文、ALTER文、TRUNCATE文が該当します。 DDLの仕組みと改善の歩みについて MySQLのALTER TABLEの初期実装 新しいテーブル定義のテーブルにデータコピーする 実行中は書
【追記有り】Amazon Aurora MySQL Version3でのOnline DDLの落とし穴とその回避方法 - CyberAgent SRG #ca_srg
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海 雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、Ama
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて話す「LINE 新卒採用 技術職 コース別説明会」。ここでデータベース室の北川氏が登壇。データベース室の主な業務、現在の課題と取り組みについて話します。 データベース室の構成 北川健太郎氏（以下、北川）：データベース室の発表をします。MySQL1チームでマネージャーをしています。北川といいます。よろしくお願いします。 データベース室ですが、先ほど説明があったとおり、IT Service Centerの下にVerda室、システム室、ネットワーク室と同様にデータベース室があります。 データベース室の中はそれぞれ担当するソリューションごとにチームが分かれていて、MySQL1チーム、MySQL2チーム、MongoDBチーム、HBaseチームというかたちで分かれています。 MySQL1チームとMySQL2
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercari"の一環で書かれています。 Author: CoreSREチーム @ichirin2501 今回は特殊なレプリカDBの制約をどう突破してオンラインでDDL適用を実現しているのかを紹介します。 はじめに 現在メルカリでは様々なシステムが動いていますが、メルカリのサービスの中核部分はモノリスなPHPで書かれたシステムで、そこのデータベースはMySQL(v5.7)で運用されています。依然としてマイクロサービス移行を加速させるためのコードフリーズ(*1)が継続されているため、PHPシステム上での機能開発は基本的にはありませんが、依存されているマイクロサービス側の機能開発の都合などで、どうしても変更が必要な場合があります。そういったと
AWS CodeBuildでRidgepoleをdry-runで動かしてMigration予定のDDLをGithubのPullRequestコメントに追記する - ANDPAD Tech Blog
ANDPAD バックエンド担当の原田(@tomtwinkle)です。 普段はGolangでモリモリコードを書いていますがDevOps関連の記事ばかり書いてます。 お察しの通りなんですが、今回もDevOps関連の記事だったりします。 やり方だけ知りたい人は Motivation の部分は読み飛ばして貰っても問題ないです。 Motivation AWS CodeBuild側の準備 GithubのPrivate Access Tokenを発行する AWS Systems ManagerのParameter StoreにDBとGithubへのアクセス情報を記述 CodeBuildを作成 Github Repository側の用意 Buildspecの記載 動作結果 謝辞 さいごに Motivation 私が担当しているANDPADボードではRDS(MySQL)を利用しています。 そして、DBのsc
Monitor the health of your database infrastructure, explore new patterns in behavior, and improve the performance of your databases no matter where they’re located.
皆さんはMySQLを開発に利用している時に、カラム追加や変更を同時に行いたい場面によく出くわすと思います。特に、Webアプリケーションフレームワークなどで用意されているデータベーススキーマのマイグレーションツール等を利用している時に、マイグレーション途中で失敗して中途半端に適用されてしまう、なんてことがあるかもしれません。 マイグレーションが中途半端に適用されてしまった場合、マイグレーションツールでは簡単に元に戻せず、スキーマの復旧のためにmysqlでログインして手作業で復旧するはめになってしまって困った経験がある方もいるかも知れません。そういうアトミック性が欲しい時は、トランザクションを利用して…と、考えると思いますが、これは実は上手くいきません。 今回はその理由である「暗黙的なコミット」について解説していきたいと思います。 検証環境 今回は、第125回 phpMyAdminでDocke
こんにちは！MLエンジニアの野澤（@takapy0210）です。 10月から軽減税率が始まりましたね。みなさんの身の回りで混乱は起きていませんでしょうか？ そんな中、軽減税率に関するこんな記事を見ました。専門家の人たちでも判断に困る事例があるようなので、難しいですね。 さて、本日はAWS × slackを使って、DDLの自動実行フローを構築した話をできればと思っています。 目次 DDLって何？ 従来のフロー 新・自動化フロー dry-run実行 DDL実行 自動化して何が嬉しかったか アーキテクチャ構築のポイント Step FunctionsでFatgate Taskを実行するときの注意点 セキュリティグループを正しく指定する必要がある EcsTask実行ポリシーに、「タスクを実行するRoleにアクセスする権限」を追加する必要がある slack apiとAWS API Gatewayの連携
AWS re:Invent 2022 にて RDS の Blue/Green が発表されたことを受けて、この辺の具体的な運用をどのように改善できるのか考えていきます。 たいした内容ではないですが、丁寧に最適化して慣れれば、それなりに強い効果を発揮できそうな感じはあります。 ALTER TABLE の辛み まず復習からですが、RDS に Blue/Green が実装されるほど辛い運用はなんだったかというと、重い ALTER TABLE にあります。 ALTER には色々あるのでアレですが大雑把に言うと、容量や行数が大きいテーブルに対して実行すると、数時間単位～の処理時間がかかることが多く、しかもパッと見で進捗を把握できないという問題を抱えていました。それに対して色んな対策を取っていたと思います。例えば…… Handler_write SHOW GLOBAL STATUS LIKE ‘Hand
この状況でサイズの大きいテーブルに対してDDLを行うと、Replica でのレプリケーション遅延を招いてしまう恐れがあります。 遅延が発生すると Replica を参照しているサービスで Source に書き込まれた最新のレコードが取得できない状況になってしまい、サービスに影響が出ます。 本記事ではオンラインDDLでレプリケーション遅延を回避する方法について記述します。 ※ Source/Replica = Master/Slave です。慣れましょう 方法 MySQLのバージョンに応じて 2種類。そしてツールを使う方法があります。 INSTANT DDL (MySQL 8.0.12 ~) 特定のDDLに限る Rolling Schema Upgrade (RSU) (MySQL 5.6 ~) オンラインDDLに限る ツールを利用する 今回は紹介に留めて割愛します 1. INSTANT D
データアナリティクス事業本部の貞松です。 最近、データ分析環境絡みで特定のプロジェクトに含まれるSQLファイルをパースして解析したい要件が発生しました。 本記事では、上記の要件に対応する為に使用したsqlparseというライブラリについてご紹介すると共に、sqlparseを使って、任意のディレクトリ配下のSQLファイルからDDL(CREATE TABLE)でないファイルを抽出する方法を解説します。 sqlparseとは sqlparseは非検証SQLパーサー(処理対象のSQL文の正当性は検証しない)のpythonライブラリです。 GitHub - andialbrecht/sqlparse: A non-validating SQL parser module for Python サポートされているPythonバージョンは3.4以降で、インストールはpipで行います。 pip insta
MySQL :: MySQL 8.0 Reference Manual :: 17.12.1 Online DDL Operations
Enabling Automatic Configuration for a Dedicated MySQL Server
Amazon Aurora には、ほぼ瞬時に所定の位置で ALTER TABLE オペレーションを実行するための最適化が含まれています。このオペレーションを実行するために、テーブルをコピーする必要はありません。また、他の DML ステートメントに実質的な影響を及ぼすことなく実行できます。このオペレーションは、テーブルのコピーにテンポラリストレージを使用しないため、スモールインスタンスクラスの大きなテーブルに対しても、DDL ステートメントを使用できます。 Aurora MySQL バージョン 3 は、インスタント DDL と呼ばれる MySQL 8.0 の特徴と互換性があります。Aurora MySQL バージョン 2 では、高速 DDL と呼ばれる異なる実装が使用されています。 DDL オペレーションの効率性を向上するため Aurora MySQL バージョン 3 によって実行される最適
MySQL の Online DDL について検証しつつ備忘録としてまとめておきます。 (本記事の検証は、MySQL 5.7.40 で実施しています。) mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.40 | +-----------+ 1 row in set (0.02 sec) Online DDLとは MySQL 5.7 Reference Manual - 14.13 InnoDB and Online DDL Online DDL の機能によって、インデックスの作成などの DDL を実行している最中に INSERT , UPDATEなどの DML が実行できるようになっています。 MySQL 5.5 以前での ALTER TABLE は下記のような制限があったようです。 ALTE
MySQL5.6のオンラインDDLでメタデータロックがかかった話 - R-Hack（楽天グループ株式会社）
こんにちは、ラクマの宮崎です。 MySQLのオンラインDDLを実行する際にメタデータロックがかかってしまい困ったので、オンラインDDLとメタデータロックについて調べて手元で試したことをまとめました。 MySQLのバージョンは 5.6、ストレージエンジンは InnoDB です。 この記事の多くは、MySQL 公式ドキュメントの以下のページを参考に書いています。 公式ドキュメント①：14.11.1 オンライン DDL の概要 公式ドキュメント②：14.11.2 オンライン DDL でのパフォーマンスと並列性に関する考慮事項 DDLとは オンラインDDLとは オンラインDDLに対応しているDDL Ruby on RailsのMigrationでオプションをつける方法 オンラインDDLの注意点とWaiting for table metadata lock が発生するケース Waiting for
MySQL Shell dumpInstance でバックアップ中はDDL が待機させられる - mita2 database life
MySQL Sever Blog に MySQL Shell 8.0.21 の Dump / Import 機能についてエントリーが投稿されています。 並列化により非常に高速に Dump / Import 出来ることなどが示されてます。非常に強力なツールであることが感じられます。 MySQL Shell Dump & Load part 1: Demo! | MySQL Server Blog とりあえず動かしてみる \help util.dumpInstance で説明が見れます。 threads や maxRate オプションでパフォーマンスの調整ができそうです。 $ mysqlsh root@localhost mysqlsh > \help util.dumpInstance NAME dumpInstance - Dumps the whole database to files
[新機能] Amazon Redshift SHOW TABLE及びSHOW VIEWコマンドによるDDL表示をサポートしました | DevelopersIO
[新機能] Amazon Redshift SHOW TABLE及びSHOW VIEWコマンドによるDDL表示をサポートしました データアナリティクス事業本部コンサルティングチームの石川です。Redshiftは、SHOW TABLE及びSHOW VIEWコマンドを使用してDDLを表示するユーティリティを標準でサポートするようになりました。早速、どんな感じで、どこまで使えるのか試してみます。 SHOW TABLE コマンド 構文 SHOW TABLE table_name TABLE定義の表示 例えば、categoryテーブルのDDLは、以下のように表示できます。 cmdb=# show table category; Show Table DDL statement ------------------------------------------------ CREATE TABLE
![[新機能] Amazon Redshift SHOW TABLE及びSHOW VIEWコマンドによるDDL表示をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
渡辺輝人 🇺🇦連帯 on Twitter: "総力特集「統一教会批判は魔女狩りだ！」で「世界日報特別取材班」の記事が載るって、凄く文が鮮明で壷々しい感じがしますね。 https://t.co/r5Oq95Ddl2"
総力特集「統一教会批判は魔女狩りだ！」で「世界日報特別取材班」の記事が載るって、凄く文が鮮明で壷々しい感じがしますね。 https://t.co/r5Oq95Ddl2
Transcript .Z42-ͷϩοΫʹ͍ͭͯ ʙ%%-ฤʙ ࣍ w%%-ͷΈͱվળͷาΈ� wΦϯϥΠϯ%%-� wNFUBEBUB�MPDL�ʹؾΛ͚Ζ� w"-5&3ؔ࿈ͷখٕ� w"NB[PO�"VSPSB�ͱ�7BOJMMB�.Z42-�ͷҧ͍� wਪͷ%%-ϦϦʔεํ๏ ͓͞Β͍ w%%-� %BUB�%FpOJUJPO�-BOHVBHF � w $3&"5& �%301 �"-5&3 �536/$"5&� w%.-� %BUB�.BOJQVMBUJPO�-BOHVBHF � w 4&-&$5 �*/4&35 �61%"5& �%&-&5&� w%$-� %BUB�$POUSPM�-BOHVBHF � w #&(*/ �$0..*5 �30--#"$, ࣍ w%%-ͷΈͱվળͷาΈ� wΦϯϥΠϯ%%-� wNFUBEBUB�MPDL�ʹؾΛ͚Ζ� w"
DDLとDMLの違い
・DDL（データ定義言語） Data Definition Languageの略でデータを定義するSQL文（CREATE文など） ・DML（データ操作言語） Data Manipulation Languageの略でデータを操作するSQL文（SELECT文など） ・DCL（データ制御言語） Data Control Languageの略でデータを制御するSQL文（GRANT文など）
dbtでSELECT文以外(DDL, DML,ストアドプロシージャ等)のクエリを移行・実装する手順 #dbt | DevelopersIO
dbtでSELECT文以外(DDL, DML,ストアドプロシージャ等)のクエリを移行・実装する手順 #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtでは良く、dbtの紹介をするときに『dbtではSELECT文が書ければ変換処理が書ける／作れる』的な説明をすることがあります。dbtのモデルに関する説明でも以下のような記載・言及があります。 A SQL model is a select statement. Models are defined in .sql files (typically in your models directory): (SQLモデルはselect文です。モデルは.sqlファイルで定義されます（通常はmodelsディレクトリにあります）：) - Each .sql file contains one mo
MySQL 5.7のオンラインDDLによるサービス無停止のカラム追加 - hacomono TECH BLOG
プロダクト開発チームの田中と申します。(社内ではたなしゅんと呼ばれております) 先日新機能のリリースを行いまして、リリース時に既存テーブルに対してのカラム追加が必要だったのですが、カラム追加のALTER TABLEが中々終わらないという問題が以前のリリース時に起きていたこともあり、事前に問題なくDBマイグレーション(Railsを利用しているため、この記事ではALTER TABLEなどのDB操作をマイグレーションと呼びます)が実施できるように調査を行いました。 その際に調査した内容や工夫したことなどを共有したいと思います。 過去のリリース時に起きた問題 ALTER TABLEが終わらない メンテナンスタイム中にデータベースのマイグレーションができるのが理想ですが、hacomonoのサービスの特性上24時間運営の店舗様にもご利用いただいているため、頻繁にメンテナンスタイムを設けることが難しく、
This post explains the inherent problem of running online schema changes in MySQL, on tables participating in a foreign key relationship. We'll lay some ground rules and facts, sketch a simplified schema, and dive into an online schema change operation. Our discussion applies to gh-ost, pt-online-schema-change, and VReplication based migrations, or any other online schema change tool that works wi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL勉強会〜ロックについて(DDL編)〜を開催しました！ - ANDPAD Tech Blog
「安全にDDLが実施できる」をコンセプトに「SafeDDL」を開発 すべてのデータベースの運用・管理を行う、LINEのデータベース室
特殊な構成のMySQLに対するDDL適用の一例 | メルカリエンジニアリング
Impact of DDL Operations on Aurora MySQL Readers
第134回 DDLと暗黙的なコミットについて | gihyo.jp
AWS × slackを用いたDDL自動実行フローを構築しました - コネヒト開発者ブログ
AWS RDS/AuroraのDDL運用を最適化する | 外道父の匠
MySQLのオンラインDDLでレプリケーション遅延を回避する方法 - Qiita
【Python】sqlparseを使ってDDL以外のSQLファイルを抽出する | DevelopersIO
高速 DDL を使用して Amazon Aurora のテーブルを変更する - Amazon Aurora
MySQL の Online DDL の挙動をローカルで検証して理解する
MySQLのロックについて（DDL編） - Speaker Deck
Vitess | Online DDL: why FOREIGN KEYs are not supported
mobigarden.jp
hiyori-skr.booth.pm
hiyori-s.fanbox.cc
mentalcare.hatenablog.jp
grapee.jp
maria0.ht.gob.jp