MySQL8.0のWindow関数を分かりやすく紹介する（１）
はじめに MySQL8.0がリリースされたことにより、Window関数の利用が可能になりました。 Oracle,PosgreSQL、SQL Server等でも利用できる関数ですが、「難しそう」、「どういう場合に使えば良いかわからない」というイメージを持たれている方もいると思いますので、この記事ではシンプルにどのようなことが出来るのかを紹介します。 第一弾は、「集計関数×Window関数」のコラボです。 集計関数とは、MAXやSUMやAVG等のデータを集計する関数ですが、実はほどんどの集計関数がWindow関数として利用できます。集計関数の種類やWindow関数として利用可能かという点に関しては、以下のリファレンスに記載されておりますので、参照頂ければと思います。 ・MySQL 8.0 リファレンス マニュアル 14.19.1 集計関数の説明 データ準備 検証用に１つのテーブルを作成し、テス
CentOSでMySQLを動かせるようにするまで ~docker docker-compose~｜SHIFT Group 技術ブログ
はじめにこんにちは、SHIFT の開発部門に所属しているKatayamaです。今期から転属になり、開発を担当していくことになりました。 現在、基本的な事から学ぶ研修中です。開発部門では新しく学ぶことがたくさんあり、それらを自身の振り返りアウトプットとして発信していけたらと思います。記事が溜まったら、noteのマガジンにもまとめる予定です。 ■前提条件・virtualbox で CentOS のディスクイメージで Linux 環境を構築済み # cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) ■docker で MySQL Server を起動する・docker のインストールまずは CentOS を最新化する。 # yum update # yum upgrade OS requirementsに The cento
prismaのschemaファイルの書き方（MySQL用） - White Box技術部
フルNext.jsアプリケーション作成の一環で、DBマイグレーションツールにprismaを使ってみたので、書き方のメモです。 いきなりですが、prismaは細かくDDL文を制御できず、思ったテーブルを作れなかったので、細かくテーブル定義を設定したい場合はTypeORMの方がいいかもしれません。 準備 プロジェクトにprismaをインストールし、初期ファイル（prisma/schema.prisma）を作成します。 $ yarn add -D prisma $ yarn run prisma init schema.prismaの書き方 公式ドキュメントの書き方を参考に、スキーマをschema.prismaに記載していきます。 記載する際の注意点・考慮点は以下です。 providerをmysqlに変更する @db.Timestampではなく@db.Timestamp(0)のように書かないとマ
数百 shard のデータベース運用を最適化する手法 | BLOG - DeNA Engineering
はじめに インフラエンジニアの天野です。 DeNA Advent Calendar 2021 の1日目として、ここでは DeNA TechCon 2021 Autumn で登壇させていただいた、「数百 shard のデータベース運用を最適化する手法」についてお話していきます。 録画は冒頭に挙げた YouTube に上がっていますので、よろしければそちらもご覧ください。スライドは以下にございます。 DeNA では様々なインフラの運用を自動化してきましたが、データベースの運用にはまだ一定の工数がかかっています。 ここでは、大規模ゲームを例に、DeNA が今まで取り組んできたデータベースの運用最適化の手法について紹介していきます。 大規模ゲームにおけるデータベースの特徴 MySQL 互換 リリース直後の膨大なリクエストを捌くために数百 shard の水平分割 台数が増えると故障台数も増えて運用負
MySQLのTIMESTAMP型を使用する前に知っておきたいこと
はじめに MySQLで日時情報を格納する際には、DATETIME型とTIMESTAMP型の2つが使用されるケースがほとんどかと思います。 また、MySQL5.7までとMySQL8.0以降では、デフォルト設定で制約とDEFAULT値を指定しなかった場合のTIMESTAMP型の挙動の違いがあり、MySQL5.7までのTIMESTAMP型では、特殊な動作をします。 今回は、DATETIME型とTIMESTAMP型の違いにも触れながら、TIMESTAMP型を使用する際には、知っておいた方がよいことを記載したいと思います。 データサイズ MySQL 5.6.4 以降は、DATETIME型、TIMESTAMP型ともにマイクロ秒まで格納できるようになりましたので、それ以降のバージョンでデータサイズは見直しされています。 データ型 MySQL 5.6.3 までのバージョン MySQL 5.6.4 以降のバ
Percona Monitoring and Managementでスロークエリを確認する
はじめに MySQLでは、たびたびスロークエリがパフォーマンス上の問題になることがあります。 Percona Monitoring and Management(以下PMM)では様々なメトリクスが収集されており、スロークエリの問題を対処するためのグラフが用意されています。 例えば、MySQL Instance SummaryダッシュボードのMySQL Slow Queriesパネルではスロークエリの発生回数を確認できます。 また、Query Analyticsダッシュボードでは、様々な観点からスロークエリの分析が可能です。 一方で、MySQL Slow Queriesはスロークエリの発生回数のグラフであり、各スロークエリがどのくらいの実行時間であったかは示しません。 また、Query Analyticsは長期間のスロークエリを総合的に分析するのにはとても強力なツールですが、リアルタイムでク
【小ネタ】TypeORMからMySQLに接続する際program_nameを明示して各種調査の助けにする | DevelopersIO
CX事業本部@大阪の岩田です。 MySQL5.7から利用可能になったsys.sessionは現在実行中のユーザーセッションに関する情報が確認できるviewです。このviewを通して実行中のSQLをはじめロックに関する情報やトランザクションに関する情報など、様々な情報が確認できます。このように有事の調査に大活躍するsys.sessionですが、このviewにはprogram_nameというカラムがあり、このカラムを有効活用することで接続元のクライアントを識別するのが容易になります。program_nameはクライアントがMySQLサーバーに接続する際に自分で指定する項目で、いわばクライアントがMySQLサーバーに対して「自分のプログラム名はxxです」と「名乗っている」と捉えて良いかもしれません。MySQLのクライアントプログラムを扱う場合は適切なprogram_nameを指定することで、有事
yoku0825さんがMySQLスペシャリストになるまでにやってきた勉強法を、私たちにすべて教えてください！ - Findy Engineer Lab
「日本国内でもトップレベルのスキルを持ったMySQLエキスパートは誰か？」 そう問われたときに、多くのエンジニアが名前を挙げる人物がいます。LINE株式会社のITサービスセンター データベース室 MySQL1チームでDBA（Database Administrator）として働くyoku0825さん*（@yoku0825）です。 日本人として3人目のMySQL分野のOracle ACEであり、2015年には「default_password_lifetime」の功績でMySQL 5.7 Community Contributor Awardに選出されたyoku0825さん。彼はひたむきに自己研鑽を続けるだけではなく、ブログ「日々の覚書」や技術イベントへの登壇などを通してMySQL関連の情報発信を行ってきました。 今回はそんなyoku0825さんに「これまでどのようなトレーニングをして、DB
MySQLを捨てClickHouseでレポートAPIのレスポンスを1000倍高速化した話 | GENIEE Blog
はじめにみなさん始めまして、R&D本部 基盤技術開発部の石田祥英です。 北大の情報科学研究科を卒業前に飛び出しジーニーに半年早く17卒入社し、現在は主にFlink, Kafka, Play Framework(scala)や、バッチ用途でgolang,pythonなどを使いプロダクト横断のシステムの開発・検証をやっています。 TL;DRClickHouseで分析系クエリが1000倍の速度に爆速化DBの容量もMySQLと比べ1/13に軽量化ClickHouse導入はMySQLには無い制限もあるけど、なんとかなるあんまり日本での導入事例が見当たら無いけど、クエリの高速化・DBの軽量化したい人はぜひ使うといいことがあるかもしれません社内勉強会用の資料 ClickHouse導入の背景一般的に広告プラットフォームでは「どの広告を、どの広告枠(サイト)に、いつ、どのように(RTB or Adnetwo
Clickhouseの採用経緯と運用フローについて - SO Technologies 開発者ブログ
こんにちは、ATOM事業本部のプロダクト開発グループの松尾です。 広告媒体からのデータ取得処理や集計前の加工処理などを中心にバックエンドエンジニアとして開発を行ってきました。 最近は新レポートや進捗管理機能の開発を行っています。 ATOMのリニューアル版では、新レポートや進捗管理機能の媒体データの実績値の集計をclickhouseというデータベースを採用しております。 長らく苦戦し続けていましたが運用が安定してきたので、採用経緯から苦戦してきた過程について、簡単にご紹介させていただければと思います。 採用経緯について mysqlから集計処理を切り出したいと思った際に、１つの候補として挙がるのではないしょうか？ 実際に調査をしてみると、select, insertが圧倒的に早い！！となるはずです。 そして、扱うデータ量が多くなればなるほどに、mysqlとの集計処理の性能差に驚くはずです。 同
雑なMySQLパフォーマンスチューニング
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮Hibino Hisashi
MySQL5.5から5.6にしたらICP(Index Condition Pushdown)で困った - Qiita
はじめに ついにAdventCalenderも２日ですね。 MySQL Casual Advent Calendar24日目の担当の@gotyooooです。 昨日は@kuwa_twさんのシェルスクリプトだけでMySQLからMongoDBへの移行しちゃうでした。 Mongoのメモリ食いまくりな仕様が気になってます・・・。RDBさいこーｗ MySQL界隈ではやっぱりMariaDBはRHEL7とかで標準になったりと、熱いですよね。適当なものでまずは試してみたいです。Galera clusterってそういばどうなったんだろ・・・。 本日の内容 標題の通りです。今更ながら5.5から5.6に移行したデータベースでICPにより問題が起こってしまいました。そのことを書こうと思います。 ICP(Index Condition Pushdown)とは？ 5.6の新機能 デフォルトON 簡単に機能説明 マルチカ
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
MySQL カバリングインデックス - Qiita
データが欲しい時に、より小さなコストでやろうと思ったら、 行全体を取得するよりも、インデックスのみで処理するようが良いに決まっている。 そこで、クエリを処理するのに必要なデータを全て含んでいるようなインデックスをカバリングインデックスと呼ぶ。 これは非常に有効な手段で、特にInnnoDBにおいては、セカンダリインデックスは、主キーの値をそのままリーフノードに格納するため、クエリをカバーするセカンダリインデックスによって、主キーでもう１つのインデックスルックアップを回避することができる。 カバリングインデックスが実行された時、EXPLAIN句のEXTRA列にUsing Indexが表示される。 それでは、これから、複合インデックスを用いてカバリングインデックスを活用することを考える。 Userのageとnameがの一覧が必要であれば、(age, name)の複合インデックスをUserテーブル
Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
MySQL道普請便り 記事一覧 | gihyo.jp
第33回MySQLのオプションファイル my.cnfの豆知識［その2］ yoku0825 2016-11-22
MySQL道普請便り 記事一覧 | gihyo.jp
第217回MySQL ShellでJavaScriptを使ってMySQLを操作してみよう［その2］ 木村浩一郎 2024-03-12
カーディナリティが低いINDEXのお掃除をしました - コネヒト開発者ブログ
こんにちは！サーバーサイドエンジニアをやっている @otukutun です。 最近slow query起因のレイテンシアラートが発生していてRDB(MySQL)が不安定になってしまう事象が発生し、それはカーディナリティが低いINDEXが使われたことが原因で発生していました。今回は、その対応としてカーディナリティが低いINDEXのお掃除を行ったのでそれについて書きたいと思います。 なぜカーディナリティが低いINDEXを削除したのか? 一般的にカーディナリティが低いINDEXの弊害などはいろんな方が言われていますが、 効果が低いのでSELECTの性能向上にはつながらない INSERT時にINDEXの更新がされるのでINDEX数が多いほどINSERTが遅くなる(USE THE INDEX, LUKE「インデックスを作れば作るほど、INSERTが遅くなる」より引用) などがあると思っております。詳
RDS Aurora MySQLでInnoDBモニターを有効化する方法 | iret.media
はじめに クラウドインテグレーション事業部の三木です。 利用しているAuroraでロックが発生していたため、InnoDBモニターを有効化し調査しました。 Aurora MySQL のバージョンによって、InnoDBモニターを有効化する方法等が違ったため説明します。 InnoDBモニターについて InnoDBモニターでの定期的な出力を有効にすると、InnoDBはその出力をmysqldサーバーの標準エラー出力(stderr)に書き込みます。[1] InnoDBモニターの種類は以下2つありますが、それぞれの内容については公式ドキュメントをご確認ください。[1] InnoDB標準モニター InnoDBロックモニター Aurora MySQL バージョンごとの変更方法の違いについて 以下の様な違いがあります。 Aurora MySQL バージョン 1系の場合：データベースへ接続して変更する Auro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLを学べるアプリ開発者向け動画、PlanetScaleが無料公開
