最近SELECT ... FOR UPDATEでデッドロックする話を何度かしたので。 前職のときにUPDATE同士がデッドロックしてたときに、SELECT ... FOR UPDATEで排他ロックを取ってからUPDATEしてデッドロックを防ぎますってPRをレビューしてたときのことで、複数レコードの排他ロックは一瞬ですべてのレコードのロックを取れるわけではなく、ロックを取る順番が揃っていないと簡単にデッドロックしますよという話です。 https://gist.github.com/kamipo/0bb4e37d58ba18a8cefb8aa02f778231 # frozen_string_literal: true require "mysql2" def client Mysql2::Client.new( host: "localhost", username: "root", dat

なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ

中国地方DB勉強会っていう控えめに言っても最高の勉強会があるんだけどそこで排他制約について教えてもらいました。 ikkitang1211.hatenablog.jp 排他制約って雑に説明すると重なりを拒否する制約です。 僕は使った事なかったのですが勉強会の中で事例紹介を受けて、めっちゃ便利だったのでここでご紹介します。 どんなときに使うの？ 実際にはどんなときに重なりを制御したいかというとよく使うのは次の2つ。 図面の重なり 時間の重なり 1つ目は幾何学的な図面を表現するときです。 実際にPostgreSQLは円や四角をSQLで表現できます。例えば地図上で特定の座標から半径100メートルの円を書き、その中に特定の円(場所)があればErrorにするような制約が書けます。 そもそもSQLで位置計算もめっちゃ便利なので是非使ってみてください。 soudai1025.blogspot.jp そして

小ネタです。 Amazon Redshiftでデータ投入周りの作業を行っている際、ふとした事で掲題の情報を知り、実際使ってみたら『ええやん』となったのでご紹介してみたいと思います。 psqlにおける『\x』とは psqlコマンドに於ける『\x』は、以下の様な形で『拡張テーブル形式モード』の切り替えを行います。 -x --expanded 拡張テーブル形式モードを有効にします。 これは\xコマンドと同じです。 psql 実際どういう風に変わるのでしょうか。試してみましょう。これが通常時。項目が横に並んで表示される形ですね。カラム数及びその内容が表示幅に収まっていれば良いですが、そうでない場合は折り返して表示されてしまいます。(このエントリでは横に見切れて1行で表示されていますが) # SELECT * FROM public.orders LIMIT 1; order_id | order_

はじめに 既存のテーブルの情報からスケジュールの日程間隔を調べたい場合に都合の良い関数が有ると言う事で調べて使ってみました。 環境 Mac OSX 10.10.5 Redshift 1.0.1125 準備 テーブル ２人のアーティストのツアー日程表です。 CREATE SCHEMA IF NOT EXISTS blog; CREATE TABLE blog.tour_schedule ( id INTEGER , artist VARCHAR(32) , day DATE , Country VARCHAR(16) , City VARCHAR(16) , Venue VARCHAR(24) , PRIMARY KEY(id) ); INSERT INTO blog.tour_schedule VALUES (1,'Dimitri From Paris','2016-12-02','Kan

はじめに テーブルを作成する際に、参照したい別のテーブルの状態が理想的な形になっていない場合、そのままではテーブルを作成できない事があります。そこで、ある状況下でどうしたら理想的な形にするかを紹介します。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 テーブルの準備 商品の販売日リスト：item_sale_update CREATE SCHEMA IF EXISTS blog; DROP TABLE IF EXISTS blog.item_sale_update; CREATE TABLE blog.item_sale_update ( id INTEGER , item_name VARCHAR(8) , group_id INTEGER , on_off INTEGER , update_date DATE ); INSERT INTO bl

[Redshift] ウィンドウ関数：FIRST_VALUE、LAST_VALUEで文字列の最小値・最大値を取得 はじめに 最小値と最大値を取得する関数にはMINとMAXが存在しますが、文字列で実現するにはFIRST_VALUEとLAST_VALUEを使用します。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 テーブルの準備 ミュージシャンのツアースケジュール：tour_schedule CREATE SCHEMA IF NOT EXISTS blog; CREATE TABLE IF NOT EXISTS blog.tour_schedule ( id INTEGER , artist VARCHAR(32) , day DATE , Country VARCHAR(16) , City VARCHAR(16) , Venue VARCHAR(

はじめに Window関数とはなんなのか？ 分析関数とも言われる比較的新しい機能で、分析SQLを書く上で最強の武器だそうです。 ただ理解をするのが難しく Windowとは何か？ Windowは何を分けているのか？ 自分が学んだ時に理解に苦労したPartitionBy句とOrderBy句、frame定義について僕が理解していることや影響範囲について書こうと思います。 今回もいつものサンプルデータを使います。 手を動かしながら動作を確認したい方はこちらをどうぞ！ Window関数は以下のような物があります。個々の関数についての説明は今回は割愛します。 集約関数をWindow関数として使うことができる - sum() Window内の合計値を算出 - min() Window内の最小値を算出 - max() Window内の最大値を算出 分析関数 - row_number() Window内での

当エントリで紹介しているものより、もうちょっと便利なSQLを 下記エントリで紹介しています。宜しければご参照ください。 Amazon Redshift: ソートキーを指定してないとVACUUMの恩恵に預かれないというお話(&VACUUM対象テーブル抽出 改良版SQL付) ｜ Developers.IO 超小ネタです。 以前、以下のエントリを投稿しましたが、スキーマを分割していたりすると、そもそも『このテーブル、どこのスキーマだっけ？』となる事がありました。なので、以前の内容を踏まえつつ、若干の手直しを加えたものを備忘録として投稿しておこうと思います。 Amazon Redshift Useful SQL: VACUUM処理が必要なテーブルを洗い出す ｜ Developers.IO 手直し版が以下SQL。svv_table_infoテーブルからスキーマの情報を参照して、併せて出しています。

Amazon Redshift便利ツール『amazon-redshift-utils』の便利SQLスクリプト紹介(AdminViews編) Amazon Redshiftでは日々の作業を行う上で様々な情報を必要とし、その過程で『こういう情報が欲しい』という局面が多々あります。当ブログでも適宜『便利系SQL』として必要な情報を取得する為のSQLをご紹介して来ましたが、以下のGitHub上で展開されている各種スクリプトがとても有用そうでしたので2回に分けて中身を見てみたいと思います。当エントリは『管理系ビュー(AdminViews)』に関する内容となります。 awslabs/amazon-redshift-utils · GitHub amazon-redshift-utils/src/AdminViews at master · awslabs/amazon-redshift-utils ·

Amazon Redshiftでは日々の作業を行う上で様々な情報を必要とし、その過程で『こういう情報が欲しい』という局面が多々あります。当ブログでも適宜『便利系SQL』として必要な情報を取得する為のSQLをご紹介して来ましたが、以下のGitHub上で展開されている各種スクリプトがとても有用そうでしたので2回に分けて中身を見てみたいと思います。当エントリは『管理系スクリプト(AdminScripts)』に関する内容となります。 awslabs/amazon-redshift-utils · GitHub amazon-redshift-utils/src/AdminScripts at master · awslabs/amazon-redshift-utils · GitHub 目次 commit_stats.sql current_session_info.sql filter_used

社内勉強会資料 追記: 2013-10-31 ついったで指摘( https://twitter.com/akuraru/status/395822183777202176 )を受けたので入れ子集合のノード追加の説明の所を修正しました。

以下のようなコードがあり、nameは画面入力なのでSQLインジェクションが起こるのでは？ と作成者に確認したところ、"%s"してあるから大丈夫との返事をもらいました。 ネット調べるとmysql_real_escape_stringでエスケープしてから"%s"で変換すれば大丈夫といった内容は見つけたのですが、mysql_real_escape_stringなど不要との返事をもらいました。 なぜ？と聞くとそういうものだとしか回答がありません。 ひどいですね。これは質問者が正しく、sprintfの%sで受けただけでは、SQLインジェクション脆弱性となります。 しかし、どうしてこのような間違った知識が出てきたのかと考えるに、数値を%dで受ける場合と混乱したのではないかと憶測しました。数値の場合、書式%dで受けていれば、仮に攻撃コードが入力されたとしても、%dで整数に強制変換されるので、SQLインジ

SQLite では数多くのキーワードが定義されています。これらのキーワードはテーブル名やカラム名などに使用することはできませんが、適切な記述方法をすることで使用も可能です。ここでは SQLite で定義されているキーワードに関する注意点、及びキーワードの一覧について解説します。 キーワードを識別子として使用する方法 SQLite では多くのキーワードが定義されています。あとで一覧を記載しますが TABLE や SELECT といった言葉はキーワードです。キーワードは予約語とも呼ぶ場合があります。 テーブル名やデータベース名は識別子と呼ばれます。識別子にはアルファベットや数字などを組み合わせて付けることができます。例えば booktable や name などです。ただし SQLite のキーワードはそのままでは識別子として使用することができません。例えば select をテーブル名として使

社内で、SQLインジェクションについてあらためて原理・原則から議論したいねという風潮がにわかに起こったので、ひとまずは叩き台として僕の方でまとめて皆で議論しましょうというわけで、以下のような資料を作成した。 社内勉強会用の資料なのだけど、僕は別にセキュリティに詳しいわけでもないし、ましてやPHPのことは素人なので、外部の識者にレビューしていただいて、できるだけ正しい知識に基づいて議論できればと思い、まずスライドを先行公開することにした。そうしたところ、Twitter上で多数の識者よりいろいろとご指摘いただいて、少くとも決定的におかしな内容にはなっていないものになったようだ。ありがとうございます。 僕らの職務のひとつに「セキュリティ関連」というものも謳われているので、そのあたりの知識普及・基盤整備についても、仕事のひとつとして行っている。先にも書いた通り、僕自身がその点についてよく理解できて

About phpMyAdmin is a free software tool written in PHP, intended to handle the administration of MySQL over the Web. phpMyAdmin supports a wide range of operations on MySQL and MariaDB. Frequently used operations (managing databases, tables, columns, relations, indexes, users, permissions, etc) can be performed via the user interface, while you still have the ability to directly execute any SQL s

はじめに Oracleの階層問い合わせについて、基本事項から使用例まで、SQLのイメージを交えて解説します。本稿では、connect by nocycle、connect_by_IsCycle疑似列を扱います。 対象読者 Oracleの階層問い合わせを使いたい方 OracleのSQLの理解を深めたい方 connect by nocycleを使用する階層問い合わせは、有向グラフや無向グラフなどのグラフ構造の知識を必要としますので、『グラフ理論 - Wikipedia』などを読まれてからの方が理解しやすいと思います。 必要な環境 本稿で扱うSQLは、Oracle 10.2.0.1.0で動作確認しました。 1. connect by nocycle cycleという英単語は名詞で、意味は「ひと巡り、一巡、周期」です。connect by nocycleを使うと、経路上で訪問済であるノードへの再訪

Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系（NoSQL）と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています（基になったのは「NoSQL is a Horseless Carriage」

MySQLのバージョンアップ MySQL 4.0 までは、3.X から 4.0 に upgrade しても、なんの影響もなくそのまま古いデータ(/var/lib/mysql)を使えました。 ダンプ→リストア不要、「ALTER TABLE」も不要。 4.1 以上にupgradeするときは、日本語キャラクターセットを使っている場合、注意しなくてはならない点が複数存在します。 4.0→5.0 追加機能 詳細： http://lists.mysql.com/mysql-ja/262 http://www.klab.org/media/mysql/ - ストアドプロシージャ、ストアドファンクションを実装 - トリガーを実装 - ビューを実装 - サーバサイドカーソル機能を実装 - 情報スキーマを実装 - XA 分散・トランザクションの実装 - HEAP(MEMORY) テーブルのインデックスに、BT