Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
ご注意 本ドキュメントは 2019/12 時点の状況での検証結果をまとめています。 コメントに頂きましたが 2020/9 に CloudSQL がレプリ元をFQDNで指定可能となった (ref) ようで、Aurora -> CloudSQL へ MySQL レプリケーションができるようになった可能性がありますのでご注意ください。 はじめに ZOZOテクノロジーズでSREチームに所属している@hkameです 普段はZOZOTOWNのオンプレ基盤を運用しております ZOZOTOWNはレガシーなシステムから徐々にパブリッククラウドへのリプレイスを実施していまして そのプロジェクトに関わりながら、日々クラウドやk8s・CICDのスキルを吸収している人です マルチクラウドでサービスを構築するための検証として Aurora->CloudSQLの2サービスのみで、MySQLのレプリケーションができるか
この記事は Perl Advent Calendar 2021 と MySQL Advent Calendar 2021 の3日目の記事です。 Perl Advent Calendar 2021 の1日目2日目が @hkoba さんのいい話だった流れを遮って、突然のユルいプログラム紹介です。 MySQL Advent Calendar 2021 の2日目は @meijik さんでした。 俺はMySQLが好きでPerlも好きなので、MySQL関連の何かがPerlで書かれているとちょっと嬉しくなります。 Perlはそんなに得意ではないですが、MySQLに絡んでいれば大体何となくわかるものです。 innotop がそれを教えてくれました（俺が %hash=(); @hash{"hoge", "fuga"}= qw{ a b } の記法を知ったのはinnotopが使っていたからです… ) 逆に、P
AWS Educateに登録してスターターアカウントからAWSサービスを使ってみた | DevelopersIO
AWS Educateを利用して学生が無料で、かつクレジットカードを持っていなくても利用できるAWS環境を触ってみました。ついでにLAMP環境を作ってみました。これからAWSを触りたい学生の方はぜひ試してみてください。 こんにちは、臼田です。 学生の皆さん、勉強してますか？(挨拶 今回は学生及び教員が利用できるAWSの学習プログラムであるAWS Educateを触る機会がありましたので、AWS Educateを使ってサインアップするところから実際のAWSマネジメントコンソールからLAMP環境を作成するところまでやってみました。 この記事の対象者はこれからAWSを触る学生や教育関係者で、実際に触る段階まで来ている方をメインにしています。 AWS Educateとは AWS Educateは14歳以上の学生もしくは教員であれば誰でも自由に参加できるクラウド学習プログラムです。 動画を使用した各
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
Go 1.18がリリースされましたね。 Go 1.18の新機能の中で最も注目を集めている機能はやはりジェネリクスだと思います。 そのジェネリクスを使用してSQLに関するミスをできる限りコンパイルの段階で防ぐことを目指すSQL Builder「GenORM」を作ったので、この記事ではその紹介をしていきます。 リポジトリ: https://github.com/mazrean/genorm ドキュメント: https://mazrean.github.io/genorm-docs/ja/ コード例 仕組みの説明の前に、GenORMのコード例を見ていただきたいと思います。 今回は以下のようなテーブルを使用します。 CREATE TABLE `users` ( `id` char(36) NOT NULL, `name` varchar(64) NOT NULL, `password` char(
Making Aurora Write Latency 15x Higher (or More!) by Choosing a Bad Primary Key
Primary Key design is an important thing for InnoDB performance, and choosing a poor PK definition will have an impact on performance and also write propagation in databases. When this comes to Aurora, this impact is even worse than you may notice. In short, we consider a poor definition of a Primary Key in InnoDB as “anything but quasi sequential values”, which may cause very random access to dat
【20分で理解】小難しいインデックス・トランザクション・ロックを"サクッ"とMySQLでまとめてみた - Qiita
1. インデックス MySQLで利用可能なインデックスは一部を除き、B-Treeインデックスと呼ばれる構造でできてます。Bツリーインデックスは、ブランチノード(ブランチ), リーフノード(リーフ)で構成されており、ルートノードから数ステップで目的のデータに到達することができます。 データの格納とアクセス方法 クラスタインデックス MySQLのInnoDBストレージエンジンでは、すべてのテーブルは主キー（PRIMARY KEY）によるクラスタインデックスを持ちます。クラスタインデックスとは、データ行が主キーの値によって物理的に順序付けられた状態のことを指します。このため、主キーによる検索は非常に高速です。 セカンダリインデックス セカンダリインデックスは、クラスタインデックス以外のすべてのインデックスを指します。セカンダリインデックスのリーフページ（最下層のインデックスページ）には、インデッ
MySQL 8.0 でも utf8mb4_general_ci を使い続けたい僕らは - mita2 database life
このエントリーは MySQL Advent Calendar 2020 の 12/7 のエントリーです。 照合順序（COLLATION）とは 照合順序は文字列の比較やソート順のルールのことです。各キャラクタセットごとに照合順序が定義されています。 -- SHOW COLLATIONS で一覧が見れる mysql> SHOW COLLATIONS; +----------------------------+----------+-----+---------+----------+---------+---------------+ | Collation | Charset | Id | Default | Compiled | Sortlen | Pad_attribute | +----------------------------+----------+-----+-------
The Next Gen Database Servers Powering Let's Encrypt - Let's Encrypt
Let’s Encrypt helps to protect a huge portion of the Web by providing TLS certificates to more than 235 million websites. A database is at the heart of how Let’s Encrypt manages certificate issuance. If this database isn’t performing well enough, it can cause API errors and timeouts for our subscribers. Database performance is the single most critical factor in our ability to scale while meeting s
「MariaDB Platform X4」正式リリース。OLTPとOLAP統合をさらに発展、Amazon S3などのオブジェクトストレージにカラム型データベースを保存
「MariaDB Platform X4」正式リリース。OLTPとOLAP統合をさらに発展、Amazon S3などのオブジェクトストレージにカラム型データベースを保存 MariaDB社は「MariaDB Platform X4」正式版のリリースを発表しました。OLTPとOLAPを統合した「スマートトランザクション」の実現や、カラム型データベースをAmazon S3などのオブジェクトストレージに保存するなどの新機能が追加されています。 New: #MariaDB Platform X4 with smart transaction capability and #cloudnative storage. Learn more.https://t.co/5L6i6qtfU6 — MariaDB Corporation (@mariadb) January 14, 2020 MariaDBは20
結論 お手軽モノリスならAutoIncrementが効率的だしこれでいいよ アプリケーション側で主キーを生成したい場合はLUIDを作る必要があるよ。GUIDで大は小を兼ねよう 主キーでGUIDを使うならULIDよりもUUIDv7がおすすめだよ ただし分散されているエンジンによってはUUIDv4の方が効率的になる場合もあるよ 主キーは原則公開しない方がいいよ UUIDv7やULIDはユニーク性を持ったInstant(timestamp)としても使えるよ 分散されたシステムでは厳密な時系列性を担保することはできないよ、あきらめてロックをかけつつ連番を一か所で生成しよう RDBのPrimary Key(主キー)とは？ MySQL、PostgresQLなどのRDBでは各レコードを識別するために一意な値を必要とします。これをPrimary Key(主キー)と呼びます。別のカラムにUNIQUEなInd
#japanpm Japan.pm 2021でhotwireをMojoliciousから使うLTをしてきました - ぱいぱいにっき
久しぶりに勉強会発表して緊張したなということで。 yapcjapan.connpass.com これに参加<してきました。 参加の感想 型や(静的|動的)解析に関連する話が多く、Perl型マニアとしてはとても満足するトークばかりでした。 scrapbox.io Perlでも関数の型をチェックしたい - Speaker Deck scrapbox.io データ解析ツールを作った話やAWS CDKの解説、InnoDBクラスタの仕組みなど、実世界に寄った話も盛り上がり、裏トークも合わせて聞くと深く知見を得られた気がしてよかったです オフラインにあって、オンラインカンファレンスではなかなか成立しにくいものとして、セッションの間の時間での廊下での交流や、会の後の懇親会がありますが、それに似たような体験を得るために会の後に、交流会と称してDiscord内にボイスチャットグループを話題別にたくさんつ
はてなブログに投稿しました #はてなブログ Re: 結局、Go言語をやめる理由はなかった件 - Hateburo: kazeburo hatenabloghttps://t.co/JXxHpQrsZb— kazeburo@スタンドの時間です�! (@kazeburo) 2020年12月17日 素晴らしい内容のエントリですね。 https://kazeburo.hatenablog.com/entry/2020/12/17/164857 ここで出てくる「秘伝のタレ」とはなんなのか？久しぶりにmy.cnf見て意味忘れていたので自分の復習というコバンザメエントリです。 それぞれの内容はオフィシャルドキュメントを確認するのが一番正確です。 innodb_doublewrite = 0 https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters
オラクルはMySQLをこの先どう進化させていくのか、オンプレミスからクラウド上の分散インメモリデータベース、そしてメインストリームなプロダクトへ［PR］
オラクルはMySQLをこの先どう進化させていくのか、オンプレミスからクラウド上の分散インメモリデータベース、そしてメインストリームなプロダクトへ［PR］ MySQLがオラクルの製品群に加わってから10年以上が経過しました。 オラクルが2010年1月にサン・マイクロシステムズの買収を完了したことでオラクル製品群の一部となってからも、MySQLはオープンソースの代表的なデータベースとして、GPLと商用版のデュアルライセンスを維持し続けています。 と同時にMySQLは2010年以降も着実に機能や性能を向上させてきました。 2010年に登場したMySQL 5.5ではInnoDBがデフォルトのデータベースエンジンとなり耐障害性や性能が大きく向上。 2015年に登場したMySQL 5.7ではさらに最大で3倍の性能向上とマルチソースレプリケーションなどのレプリケーション機能などの強化、 2018年に登場
Japan.pm 2021を開催します！オンラインカンファレンスならではの独自企画など、見どころをご紹介 - YAPC::Japan 運営ブログ
Japan Perl Association代表理事の id:karupanerura です。Japan.pm 2021の主催を行っています。 すでにTwitterとFacebookで告知していますとおり、2/18(木) 2/19(金) にオンラインカンファレンス、Japan.pmを開催します！ yapcjapan.connpass.com Japan.pmとは？ Japan.pmはYAPC::Japanに代わるPerlコミュニティのオンラインに特化したカンファレンスです。 今回が初めての開催となります。 私達Japan Perl Associationは、コロナ禍でのカンファレンス開催の可能性を、その必要性を含めて議論してきました。 その結果としてYAPC::Japanではなく、Japan.pmという全く新しいオンラインカンファレンスを開催する結論にたどり着きました。 これまでやってきた
Clickhouse as an alternative to ElasticSearch and MySQL, for log storage and analysis, in 2021
In 2018, I've written an article about Clickhouse, this piece of content is still pretty popular across the internet, and even was translated a few times. More than two years have passed since, and the pace of Clickhouse development is not slowing down: 800 merged PRs just during last month! This didn't blow your mind? Check out the full changelog, for example for 2020: https://clickhouse.tech/doc
株式会社MIXIで「家族アルバム みてね」（以下みてね）のSREグループに所属している清水と申します。 みてねのインフラはAWSを全面的に利用しています。サービスがリリースされた2015年から2021年ごろまではAWS OpsWorksというAmazon EC2のオーケストレーションサービスの利用をしておりました。その後Amazon EKSに移行し、AWSのインフラにおける大きな変化となりましたが、同様にモニタリングやオブザーバビリティに関わるツール、サービスについても大きく変化してきました。 本記事ではオブザーバビリティにまつわるツールやサービスの変遷、工夫点などについて紹介します。 オブザーバビリティとは何か 開発したソフトウェアをシステムにデプロイして運用を始めた後、システムが正常に動作し、良いパフォーマンスが出ているのかをモニタリングするというのは開発者にとってよくある習慣です。
Opens in a new windowOpens an external siteOpens an external site in a new window Databases are a key scalability bottleneck for many web applications. But what if you could make a small change to your database design that would unlock massively more efficient data access? At Shopify, we dusted off some old database principles and did exactly that with the primary Rails application that powers onl
AWS Aurora MySQL v5.6 から v5.7 へのアップグレードをちょっとだけ考えてみた - mita2 database life
Aurora MySQL v5.6 のサポート期限がいつかわからない 現在、Auroraでは、MySQL v5.6 (Engine 1.x) とv5.7互換 (Engine 2.x) のデータベースが利用できます。 Oracleが開発しているオリジナルのMySQL v5.6(以降 Vanilla MySQLと記載) は、2021/02 にサポートが切れます。 Aurora MySQL は Amazonが独自に開発している互換DBです。Vanilla MySQLのサポート期限はAuroraには関係ないのですが、互換DBであることを踏まえると、 「同じようなタイミングでサポート切れになる可能性もあるのでは・・・」と心配になってしまいます。 例えば、RHEL6互換のAmazon LinuxはRHEL6のサポート期限(2020/11末)と近しいタイミングでサポートが終了になっているようです。 aw
OSSデータベース取り取り時報 第59回オープンソースカンファレンスOnline、KDDIにおけるMySQL InnoDB Cluster事例、PostgreSQLのオンラインイベント紹介 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 オープンソースカンファレンスOnlineから 2月以降、オンライン開催となっているオープンソースカンファレンス（OSC）の近況です。 OSC Online/Nagoyaの続報 5月30日に開催されたOSC Online/Nagoyaは、朝10:00から18:00まで、最大5トラックのセミナーがずらっと並ぶ充実した構成となりました。参加者も事前エントリが500名を超えていましたので、オンラインでも例年の通常開催と変わらない規模となりました。OSSコンソーシアムでは、オー
MySQLではcharacter set（以後、charset）やcollationをグローバル、データベース、テーブルやカラムレベルで設定することができます。今回はMySQLのデフォルトcollationの注意点を紹介したいと思います。使用するMySQLのバージョンは8.0.26です。 charsetやcollationとはなにかについては説明はしません。よって、charsetやcollationについてご存知ない方は、先にマニュアル「第10章 文字セット、照合順序、Unicode」をご確認ください。 charsetやcollationの各レベルの設定方法 グローバル 以下のシステム変数を設定します。 character_set_server… サーバーのデフォルトのcharset collation_server… サーバーのデフォルトのcollation データベース CREATE
そのため、binlog_formatの設定を合わせるため問題が起こったのsourceサーバーをSTATEMENTにして対処したところ、今度は更新処理で以下のようなエラーが出ていました。 ERROR 1665 (HY000): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDB is limited to row-logging when transaction isolation level is READ COMMITTED or READ UNCOMMITTED.これによりsourceに書き込む
週刊Railsウォッチ（20200714後編）ruby-warning gemでワーニングを手軽に抑制、rubocop -aの振る舞いが変わる、書籍『MySQL徹底入門 第4版』ほか｜TechRacho by BPS株式会社
2020.07.14 週刊Railsウォッチ（20200714後編）ruby-warning gemでワーニングを手軽に抑制、rubocop -aの振る舞いが変わる、書籍『MySQL徹底入門 第4版』ほか こんにちは、hachi8833です。昨日のGitHubダウン皆さまお疲れさまでした。 解決したのでもう消えているが、問題発生中はSMSで経過を通知してもらうボタンが出てた。GitHub止まったときは使えそう。https://t.co/ZYHUjgtwrf — Daisuke Sawada (@daisuke7) July 13, 2020 ⚓Ruby ⚓ruby-warning: ワーニングにフックをかけるgem リポジトリ: jeremyevans/ruby-warning: Add custom processing for warnings 元記事: Rubyのwarningから不
週刊Railsウォッチ（20190924-1/2前編）Railsのconcernsを考える、Netflixのヘキサゴナルアーキテクチャ、Railsのアロケーション削減ほか｜TechRacho by BPS株式会社
2019.09.24 週刊Railsウォッチ（20190924-1/2前編）Railsのconcernsを考える、Netflixのヘキサゴナルアーキテクチャ、Railsのアロケーション削減ほか こんにちは、hachi8833です。RailsチュートリアルのRails 6対応翻訳をひとまず終えました🍵。お目見えはもう少し先になると思います。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください ⚓週刊Railsウォッチ「公開つっつき会」第15回のお知らせ（無料） お申込み: 週刊Railsウォッチ公開つっつき会 第15回｜IT勉強会ならTECH PLAY［テック
去年のやつ 今年参加するためにやったこと 作ったもの一覧 rubocop-isucon mysql2-nested_hash_bind datadog_thread_tracer itamae-plugin-recipe-rust itamae-plugin-recipe-datadog isucon-snippets チェックリスト Datadog Datadogでalpを実装した。 Datadogダッシュボード ISUCON数日前にDatadogのダッシュボードがバグって困った ISUCON12の予選問題 自分が予選当日に書いたコード プロビジョニング用のItamae 競技用コード スコア用issue PRベースで振り返り 初期セットアップ (3035 -> 1297) rubocopでauto correct (1297 -> 1757) Docker剥がし (1757 -> 153
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント - ZOZO TECH BLOG
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQueryのFederated Query機能を利用してリアルタイムにデータを参照できるようにしています。 本記事ではその中の、Aurora MySQLからCloud SQLへのレプリケーション部分にフォーカスします。Aurora MySQLがマネージドサービスだからこそ発生する大きな注意ポ
こんにちは、GMOアドマーケティングのK.Mです。 最近は久しぶりにMySQLを使ってます。 そういえばMySQLといえば、バージョン5.7からInnoDBの全文検索機能に日本語パーサーが搭載されとても使いやすくなったと聞いていたので、本日はそれを試してみたいと思います。 以前はサービスで本格的な全文検索をやりたいと思ったら、Elasticsearchなど専用の全文検索エンジンを立てたりとミドルウェア構成が一段リッチになるような印象もありましたが、もう少しお手軽に、既存RDBMSからSELECTしてくるくらいのイメージでスモールスタートしたいようなケースも結構ありそうです。 そういったときに検討できる一つの選択肢になるんじゃないかと思っています。 既存テーブルを検索してみます MySQL5.7から日本語パーサーとしてN-gramとMeCabが使えます。特にN-gramの場合、デフォルトで有
In InnoDB Data Locking – Part 1 “Introduction” we’ve described the difficulties Lock System tries to solve using metaphor of people trying to concurrently edit spreadsheets. While it might be useful metaphor to get some intuitions about the problem, to talk about solutions it helps to know at least a little about the “reality” this metaphor maps to. In this post I’ll talk about how statements we’v
連載第55回でご紹介したMySQL InnoDB ReplicaSetは、従来型のレプリケーションの運用管理の効率を向上させることに主眼をおいて開発されているパッケージです。データの複製は非同期レプリケーションとなり、データベースの自動フェイルオーバー機能もないため、高可用性構成しては物足りない面もあります。 MySQL InnoDB Clusterで利用されているグループ・レプリケーションはコミットされたトランザクションが他のノードに複製されることが保証できるため、高可用性を求める場合にはより適切な選択肢となります。参照時のノード間のデータ整合性は設定により変更できます。ただし、グループ・レプリケーションの要件にはGTID（Global Transaction IDentifier）や行ベースのバイナリログが含まれているほか、制約事項のひとつとしては利用可能なストレージエンジンがInno
check-mysql の通信を暗号化できるオプションを追加しました ほか - Mackerel お知らせ #mackerelio
こんにちは。Mackerelチーム CRE の三浦（ id:missasan ）です。今回のアップデート内容をお知らせします。 check-mysql の通信を暗号化できるオプションを追加しました MySQLのバージョンによって取得できていなかったメトリックを取得できるように修正しました Amazon Aurora PostgreSQL互換インターフェースへの対応を行いました check-mysql の通信を暗号化できるオプションを追加しました go-check-plugins v0.40.0 にて check-mysql に以下3つのオプションを追加しました。 これらのオプションにより、プラグインとデータベース間の通信を暗号化することができます。 --tls Enable TLS connection --tls-root-cert The root certificate used f
ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.11.01 技術記事 ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] by yayohei #infrastructure #sre #database #aws #aurora #mysql #proxysql #stabilization #livestreaming-infrastructure #infra-quality こんにちは、 IT 本部 IT 基盤部第一グループの山本です。 今回は ProxySQL を利用した Aurora MySQL の新規接続の遅延問題の解消方法について紹介したいと思います。 Aurora MySQL のメリット Aurora MySQL のメリットとしては本稿で詳しく語るまでもないですが、Writer の 自動 Failover、Snapshot の取得の容易さ、Storage 故障の
![ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/86065d7b8409d04e7be80a93878f716de9247a45/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F11%2Finfra-proxysql%2Fcover.png)
スタートアップが取組むコンテナ化。EC2からECS Fargate移行の道のり - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんは、インフラのコンテナ化はお済みでしょうか？ 弊社は今年6月頃にサービスを正式にリリースしたのですが、それ以前はEC2 + ELBでインフラを構築しており、それまでになかなかコンテナ化をしたくても出来ない状態でした。 各社様々な背景はあると思いますが、自分は コンテナ化をすればいいのは、なんとなくわかる。ただ、どこから始めたらいいんだろうか EC2構成でも動いているがために、なかなか変えようとする一歩目が踏み出せない コンテナ化を本番環境で構築した経験がない。実際にどんなことが課題として上がるんだろうか あたりに不安を感じていました。 ただ、インフラ運用に事業の足を取られてしまうリスクを抱える、それが嫌でコンテナ化を今回行いました。 そんな中での取り組みや課題感を先日話してきたので、その詳細をお伝え出来ればなと思います。 発
曖昧に理解してるかもと思い、自分の振り返りのために書いてます。 先日書いた記事で作ったデータで説明します。 MySQLのロック 通常、DML実行時に取得されるロックは排他ロックと共有ロックで構成されます。 最初にトランザクションでロックをかけたほうが排他ロック、 ロックがかかったデータを参照だけするためにかけたほうが共有ロックと呼ばれます。 共有ロックがかかった状態では他のトランザクションでも共有ロックはかかり（データの読み取りができ）ますが、データの書き込みはできません。 一方、他のトランザクションが同じ行をロックするのを回避するタイプのロックを排他ロックといいます。 トランザクション分離レベルに応じて、 他のトランザクションが同じ行に書き込むのをブロックできる 他のトランザクションが同じ行を読み取るのをブロックできる となります。 MySQLで書き込み中データ読み取れると思ったでしょ？
OBCIセミナー（特徴あるDBエンジンを取り上げる予定） MySQL関連（日本オラクル MySQL GBU担当） PostgreSQL関連（SRA OSS Inc. 担当） パネルディスカッション「多様性時代のDB選択」 ［MySQL］2020年7月の主な出来事 2020年7月にはMySQLサーバー8.0.21、5.7.31、5.6.49の各マイナーバージョンをはじめ、商用版およびコミュニティ版のほぼ全ての製品のマイナーバージョンアップが行われました。 MySQL 8.0.21の新機能 MySQL 8.0.21の主な新機能は下記の通りです。MySQLサーバー開発チームのブログでもMySQL 8.0.21の新機能の紹介がされています。 InnoDBストレージエンジンのトランザクションログ無効化 大量データのロード時やレプリケーションのレプリカの初回データロードなどに、一時的にトランザクション
こんにちわ。せじまです。珍しく replication の話をします。しかも、複数回に渡って続きます。連載です。 はじめに 先日、 こちらのスライドで 「詳しくは後日、ソースコード交えつつ別のかたちでご紹介したいと思います。」と言っていた件です。 Row-Based Replication の話をします。 昨年の8月頃、「そろそろ、SBRからRBRに移行して良い時期かなぁ、しないと将来めんどくさいかなぁ」「でも、 SET GLOBAL で binlog_format 変更できないと、手間かかってしょうがないなぁ」「じゃソースコード読むかぁ」ということで、MySQL の Replication はそんなに得意分野でもないので、他の仕事の合間にちょくちょく調べて、社内文書にまとめてました。 公開しても良いのでは、と思った内容なので、一部修正しつつ、お届けします。 はじめに断っておきますと、この
MySQLのALTER TABLEでTEXT NOT NULLなカラムをエラー無しで追加する - $shibayu36->blog;
課題 MySQL :: MySQL 5.6 リファレンスマニュアル :: 11.6 データ型デフォルト値によると、 MySQLのTEXTカラムにはデフォルト値を設定できない 厳密な SQL モードを有効にした場合、NOT NULLなカラムがINSERTに含まれていないとエラーが発生する そのため、以下のようなスキーマが存在していて CREATE TABLE `article` ( `id` BIGINT UNSIGNED NOT NULL, `title` VARCHAR(100) NOT NULL, ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; アプリケーションから次のようにINSERT文を発行しているとして INSERT INTO `article` SET id = :id, title = :title 先にALTER TABLE article
InnoDBをチューニングする際に、真っ先に確認するものといえばInnoDBバッファプールがあります。これは頻繁にアクセスされたテーブルデータやインデックスデータをキャッシュし、リクエストを高速に処理するための重要な機構です。基本的にはバッファプールは大きな値を設定するようにガイドされています。データサイズがすべてバッファプールサイズに収まるように設定すると安定したサービスの提供が可能です。 バッファプールサイズよりもデータサイズが大きい場合は、ディスクへのアクセスが頻発して運用しているサービスに影響があることもあります。しかし、サービスが頻繁にアクセスするデータは決まっていて（過去のデータにはほとんどアクセスしない）、そのデータがすべてバッファプール上にあるために問題なくサービスを運用できることもあります。このように、サービスの特性によるワーキングセットが重要になります。 今回は、バ
D. M. です。今回は新人研修で扱う DB のパフォーマンスチューニングについてのお話です。 この記事を書こうと思ったキッカケ 私はここ数年新人やインターンの学生のメンターをよく担当しているのですが、学生と会社員エンジニアの間にはデータベース（ RDB ）の知見に大きな溝があると感じています。 研修で「とりあえずサービスを作ってみよう！」という課題を出すと、最近の新卒の方は平均的なレベルが高く、いいアイディアでさらっと Web サイトを立ち上げることができます。 ただそのサイトが毎日 100 万人が使うことを想定して充分なチューニングができる人は新人段階ではほんのわずかです。毎回同じようなことを指摘するのですが、特に多いのが DB 関連です。多くの方が DB の経験がほとんどなくあまり扱えないのです。コンピュータサイエンス専攻出身の方はプログラミングスキルをはじめとした技術的な知見を持っ
KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog
AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Aurora->CloudSQLへMySQLレプリケーションはできるのか - Qiita
Perlで作られたMySQL用の何かについて
Genericsを使いミスを防ぐSQL Builder「GenORM」
RDBの主キー、UUID使った方がいいの？(DDD, CleanArchitecture対応)
「秘伝のタレ」とはなんなのか？というコバンザメエントリ。 - oranie's blog
「家族アルバム みてね」におけるオブザーバビリティの取り組み | gihyo.jp
How to Introduce Composite Primary Keys in Rails
第59回 オープンソースカンファレンスOnline、KDDIにおけるMySQL InnoDB Cluster事例、PostgreSQLのオンラインイベント紹介 | gihyo.jp
第157回 MySQLのデフォルトcollationの注意点 | gihyo.jp
MySQLのレプリケーション設定で起きたトラブルの原因とその解決策
ISUCON12に1人チームで出て予選敗退した話 #isucon - くりにっき
MySQL InnoDB の全文検索機能をサクッと試してみました
MySQL :: InnoDB Data Locking - Part 2 "Locks"
第56回 MySQLの高可用性構成案、PostgreSQLのかなり気の早い新バージョン情報 | gihyo.jp
MySQLのギャップロックとネクストキーロック - 41から始めました
第60回 ついに連載が満5歳！ MySQL 8.0.21リリース、次バージョンPostgreSQL 13情報が続々 | gihyo.jp
チョットワカル Row-Based Replication・その１ | GREE Engineering
第101回 InnoDBバッファプールの状態を確認するさまざまな方法 | gihyo.jp
新人研修でマスターするDBのパフォーマンスチューニング - GMOインターネットグループ グループ研究開発本部