メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？ - Qiita Zine
sponsored by PingCAP株式会社 | 制作：Publickey 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of Concept：概念検証）として評価。その結果も発表されました。 メルカリ
Amazon Aurora MySQLのSystem Databaseが破損していたので、AWSのサポートに直してもらった話 - ITANDI Engineer Blog
はじめに イタンジのエンジニアリングマネージャーの田渕です。 イタンジで採用を検討しているDebeziumという技術では、(使い方によっては)MySQLのSystem Databaseの一つであるmysql.hostテーブルというテーブルにアクセスする必要があります。 先日、その検証をAmazon Aurora MySQLのとあるインスタンス上で行っていたところ、そのインスタンスのmysql.hostテーブルが破損していることが判明しました。 いろいろ試しましたが、自力では復旧することが不可能であり、最終的にはサポートの方に直していただきました。 めったに無いことかとは思いますが、同様の現象に陥った方の助けになればと思い、詳細を書いていきます。 現象 SHOW TABLESをした結果には、mysql.hostテーブルが存在しますが、SHOW CREATE TABLEをすると、テーブルが見つ
SQLの達人への道: MySQLでの高速・効率的クエリ作成術 - Qiita
データベースとテーブルの作成 テスト用のデータベースtestdbを作成し、パフォーマンスチューニングを検証するためのcompanyおよびpersonテーブルを定義します。 CREATE DATABASE testdb; USE testdb; CREATE TABLE company ( company_id INT AUTO_INCREMENT PRIMARY KEY, company_name VARCHAR(255) NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE person ( person_id INT AUTO_INCREMENT PRIMARY KEY, company_id INT, person_name VARCHAR(255) NOT NULL, email VARCH
Boundless : Introduction to PostGIS (Japanese) : 第10章: 空間演算
第10章: 空間演算¶ これまで、我々は ST_Area , ST_Length のように測定を行う、あるいは、 ST_GeomFromText のようにジオメトリをシリアライズしたり、 ST_AsGML のように非シリアライズする空間演算のみを見てきました。一般的に、これらの関数はひとつのジオメトリに対してのみ作用します。 しかし、空間データベースというのは、ジオメトリを保管するだけではなく、 複数のジオメトリ間 の比較を行えるからこそ、強力と言えるのです。 “ある公園に最も近い駐輪場はどこになるのか？”という疑問や、“地下鉄の路線と大通りとの交差する場所はどこか？”という問題は、駐輪場や大通り、地下鉄の路線に関するジオメトリのデータを比較することでのみ解くことが可能です。 OGC標準は、ジオメトリ同士を比較する手段として、以下のような関数を定義しています。 ST_Equals¶ ST_
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
Amazon AuroraのMySQL 5.7互換が正式リリースされました | DevelopersIO
◯| |南米 (サンパウロ)|◯||| ### 新機能 MySQL 5.7互換であるため、MySQL 5.7としての新機能が追加されています。代表的なものは以下のとおりです。 - JSONサポート - 空間インデックス（Amazon Auroraは独自に空間インデックスを実装しています） - 生成カラム（generated column） JSONサポートは嬉しい方が多いのではないでしょうか。多用するとリレーショナルモデルから逸脱するので適度な使用が良いと思います。 生成カラムは別のカラムの内容を基に計算した結果を取得できるカラムです。データの取り出しに柔軟性（コード -> 値の変換がアプリ側で不要など）が生まれます。 13.1.18.8 CREATE TABLE and Generated Columns 既存Auroraからの移行 Aurora MySQL 1.14、1.15、1.16
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap） - Qiita
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap）MySQLAWSAurora 2018/01/13追記： 「AWSが再度パッチを当てたみたい」という情報があったので、3度目のベンチマークを行ったところ、db.r4.largeおよびdb.r4.xlargeについて、2017/10/末頃とほぼ同じ速度に戻ったことを確認しました。 「AWS、またパッチ当てたってよ」と聞いたので3度目のAurora（MySQL互換）R4テスト（mysqlslap） （以下、古い情報なので現在とは状況が異なります。） 以前、R4インスタンスが使えるようになったときにmysqlslapで性能テストをしたので、今回、同じ条件で再度R4インスタンスだけmysqlslapしてみました。 Amazon AuroraでR4インスタ
クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ
Database engine updates for Amazon Aurora MySQL - Amazon Aurora
Amazon Aurora releases updates regularly. Updates are applied to Aurora DB clusters during system maintenance windows. The timing when updates are applied depends on the region and maintenance window setting for the DB cluster, as well as the type of update. Amazon Aurora releases are made available to all AWS Regions over the course of multiple days. Some Regions might temporarily show an engine
MySQL 8.0ではデフォルトで濁点半濁点を区別しなくなる - かみぽわーる
4月にMySQL 8.0のUnicodeと日本語対応についてManyi Luさんとディスカッションする会があって、かなりいろいろ話してとてもよい会だった。その後いろいろ考えて感じてる懸念を端的に書き記しておく。 デフォルトのcollationがutf8mb4_0900_ai_ciになった これに関して僕は強い懸念を持っている。MySQL 8.0以前において、ふつうのWebアプリケーションなどで日本語を扱う場合、実用上デフォルトのutf8mb4_general_ciかutf8mb4_binの2択であったと思う。デフォルトがutf8mb4_general_ciなので新しく作られるアプリケーションは通常は濁点半濁点が区別される状態で世に出てくることになる。けどMySQL 8.0.1のデフォルトのutf8mb4_0900_ai_ciは濁点半濁点を区別しないので、将来ユーザー名を登録するところでバイ
複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog
こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。 今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6「Shardingマジ怖い」tech.kayac.com Advent Calendar 2012)。 こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速
YAPC::Kansai で RDBアンチパターン その2 について話してベストトーカー賞を取ってきた #yapcjapan - そーだいなるらくがき帳
YAPC::Kansaiでトークしてきました。 yapcjapan.org RDBアンチパターンの話してきました。 去年、PHPカンファレンスでRDBアンチパターンの話をして盛り上がったのでそれの第二弾です。 b.hatena.ne.jp speakerdeck.com 僕が伝えたい事はたったひとつ。 このブログを読んだらすぐ自分たちのサービスのバックアップとリストア手段確認してください！ お兄さんとの約束だぞ！！ このトーク応募したらGitLab.comが大事故起こしたり、S3が落ちたり世の中では大変そうでした。 www.publickey1.jp ヒューマンエラーとかあるんですよほんと。 僕もいっぱい見てきたし、やったし（ぉぃ なので本当にもうこれだけは絶対確認してほしいって思います。 実際に「バックアップ無いDBをバグで飛ばしたんですけどどうすればいいですか？」とか相談来ます。 ほん
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
Amazon Auroraのバージョン1.12で高速DDLが実装されました | DevelopersIO
大栗です。 先程Aurora 1.12がアナウンスされました。目玉機能として高速DDLがあるのでご紹介します。 Announcement: New Aurora Release 1.12 Now Available Amazon Aurora Supports Fast DDL Operations AWS Database Blog Amazon Aurora Under the Hood: Fast DDL バージョン1.12は必須のアップグレードではありません。バージョン1.12はクラスタの全ノードに対して同時に適用されるクラスタパッチモデルになっていますので、既存のクラスタをアップグレードする場合はご注意下さい。 高速DDL re:Invent 2016でオンラインDDLの高速化がアナウンスされていましたが、今回のバージョンで実装されました。なお有効化するにはLab Modeを設定
MySQLに真偽値を格納する場合はbit(1)型のフィールドが最適 - Qiita
毎度、自ブログからの転載です。 つい最近、自作のWordPressカスタムデータベース管理プラグイン「Custom DataBase Tables」への問い合わせで bit型フィールド についてデフォルト値を指定するとテーブル作成がコケるという不具合報告があって、 MySQLのbit型フィールド について詳しく調べることになった。その結果、色々と新たにわかったことがあったので、その備忘録も兼ねて記事を書いておこうかと。 もともと私は、MySQLのbit型はboolean（bool）型と同様に tinyint(1)のシノニム（フィールド形式のエイリアスみたいなもの） と理解していたので、フィールドの仕様もtinyint(1)と同じだと認識していたんだが、実際は違っていたんだなこれが。 各フィールドの仕様は下記のようになってた（ちなみにMySQLのバージョンは5.6.16）。 フィールド型 表
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
分散環境でユニークなidを発番するGo製プロダクト「katsubushi」のご紹介 - KAYAC engineers' blog
Lobiチームの長田です。 今回はkatsubushiというアプリケーションを紹介します。 https://github.com/kayac/go-katsubushi katsubushiはid発番を行うアプリケーションです。 水平分割されたデータベースに対してユニークなidを発番するために作られました。 なお、本記事中の「データベース」はMySQLを指します。 katsubushiの特徴 Snowflakeと同様のアルゴリズムでid発番 SnowflakeはTwitter社がかつて公開していたid発番アプリケーションです。 https://github.com/twitter/snowflake/tree/master 既にメンテナンスされておらず、masterブランチにはその旨が書かれたREADMEしか残されていません。 タグが切られているので、ソースコード等はそちらで確認できます。
AWS Database Migration Serviceを使ったデータ移行手順まとめ(MySQLからAurora編) | DevelopersIO
Using a MySQL-Compatible Database as a Source for AWS Database Migration Service - AWS Database Migration Service ターゲットDB(Aurora)側の前提作業 こちらも同様にDBエンジン別にドキュメントが用意されていますので、目を通すことには変わりありません。ただ、今回のケースでは移行先のデータベースはこれから作成するものなので、新規に用意したRDSインスタンスに管理者ユーザで接続することにしました。ターゲットDBがAurora(またはMySQL)の場合、下記設定をターゲットエンドポイントのExtra Connection Attributesに設定しておくことで、外部キー制約を無視する形でデータ移行を行うことができます。後にも触れますが、今回のケースではこの設定が非常に有効でし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleがグローバルな分散データベースCloud Spannerをローンチ、SQLとNoSQLの‘良いとこ取り’を実装 | TechCrunch Japan
MySQLアンチパターン
