Demystifying JOIN Algorithms
Joins are an important class of operations in databases and data pipelines. There are many kinds of joins in SQL databases, but this post will focus only on the INNER JOIN. 1 It is possible to make the JOIN between two large tables very efficient if the result is going to be small. That being a common scenario in practice, makes JOINs an interesting topic of research. A naive JOIN algorithm can be
アシストの視点「アクセス・パスから見るRDBMSの違い」 | アシスト
商用RDBMSのデファクト・スタンダードである「Oracle Database」、オープンソースRDBMSの両雄である「PostgreSQL」、「MySQL」には、それぞれのRDBMSの個性を活かせる適用領域があります。本稿では、RDBMSの「性能要件」に深く関係する「アクセス・パス」を題材に、「Oracle Database」、「PostgreSQL」、「MySQL」の特長を整理し、適材適所で活用するヒントを探ります。 アシストでは1987年に取り扱いを開始した「Oracle Database」に加え、2009年10月より「PostgreSQL（ポストグレスキューエル）」、2011年10月にはPostgreSQLをベースとしOracle Databaseとの互換性機能を有する「Postgres Plus（ポストグレスプラス）」、Webサービスのシステムにて採用されているRDBMSとしては
MySQLのGROUP_CONCATがアツい - Qiita
http://qiita.com/advent-calendar/2015/gaiax 初めまして、GaiaxAdventCalender 4日目担当の技術開発部の金田と申します。 既に熱い記事ばかりなので後続の人たちのハードルを下げる為に小ネタで行きたいと思います。 GROUP_CONCATという関数がMySQLにあるんですがそれがアツいのでみんなに教えたいという記事です。 1対多の関係のとき 普通にテーブル設計してると1対多の関係(has many)になるリレーションシップをテーブル間で張ることが多いですよね。 まぁこんな感じで。 ざっくりと記事に対して複数のタグが設定できるような作りを想定してみます。 Entryから出た線がTagは複数に枝分かれしているのがhas manyの関係です。 で、こんなデータが入ってます。 取得するとき 記事と、それに付随したタグの一覧を取得したいときは当
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
Where狙いのキー、order by狙いのキー
Perl Hobby Programming - Games::BeLike::EightBIT ターミナルで8ビット風ゲームをつくろうkeroyonn
Choose the best distribution style - Amazon Redshift
When you run a query, the query optimizer redistributes the rows to the compute nodes as needed to perform any joins and aggregations. The goal in selecting a table distribution style is to minimize the impact of the redistribution step by locating the data where it needs to be before the query is run. When you use automatic table optimization, you don't need to choose the distribution style of yo
長年の議論に終止符 -- MySQL、MariaDB、PostgreSQLのオプティマイザ/エクゼキュータ比較 - interdb’s blog
https://mariadb.com/kb/en/optimizer-switch/にあるように、MariaDBのオプティマイザはかなり改良されている。 では、MariaDBのオプティマイザ/エクゼキュータはどの程度優秀か、４つのSELECT文の実行を通してMySQLと(ついでにPostgreSQLと)比較してみる。 (2014.12.3追記：オプティマイザについては省略してますが、こんな本がでます。) 結論を先にいえば「MySQLは検索が速い」というのは都市伝説。MariaDBはがんばってるけどPostgreSQLにはまだまだ及ばず。 ＊念のため。これはベンチマークじゃないよ、オプティマイザ/エクゼキュータの機能比較です。 自分で再確認したい場合はこちらにスクリプト群と実験のやり方を簡単に書いたので参照のこと。 調査環境 同一マシンにMySQL5.6.14、MariaDB10.0.4、
HTTP 404 ファイル未検出 - TOKYO TECH OCW
ページが見つかりません 検索中のページは、削除された、名前が変更された、または現在利用できない可能性があります。 ※過年度講義の場合は新年度講義を公開したために削除された場合があります。 次のことを試してください： ・アドレスバーにページアドレスを入力した場合は、ページアドレスを正しく入力したかどうかを確認してください。 ・[ホームページ]を開いてから、表示する情報へのリンクを探してください。 ・別のリンク先を表示するには、[戻る]をクリックしてください。 ・参照したいキーワードを用いて、TOKYO TECH OCWの検索をしてください。
Use of join buffer is now visible in EXPLAIN
UPDATE: * s/Using join cache/Using join buffer/, changed to show the final variants of EXPLAIN output as described here * s/join_buff_size/join_buffer_size/ Starting from 5.1.18, EXPLAIN output may show “Using join cache“, like in this example: mysql> explain select * from t1, t2 where t1.col < 10 and t2.col < 'bar'; +----+-------------+-------+-------+-...-+--------------------------------+ | id
［第14回］ネステッドループ・ジョインのディスク・アクセス回数を概算
前回，ネステッドループ・ジョインの二つの処理手続きを説明しました。今回は，その二つの処理手続きのディスク・アクセス回数を見てみましょう。ディスク・アクセスはブロックの読み取り回数で考える必要があります。 ここでは話を分かりやすくするため，［顧客］テーブル（表1）の30レコードは10ブロック（1ブロックに3レコード）。このテーブルにはインデックスが付いていますので，それが5ブロック。全部で15ブロックだとします。［販売］テーブル（表2）の1000レコードは，250ブロック（1ブロックに4レコード）に格納されているとします。
［第12回］ソートマージとハッシュ・ジョイン
SELECT 販売日，顧客名，商品コード，数量 FROM 顧客，販売 WHERE 顧客.顧客番号 = 販売.顧客番号 AND 顧客.顧客名 = '清水香織' 意味：［顧客］テーブルの［顧客番号］と，［販売］テーブルの［顧客番号］が同じ値であるという条件で［顧客］テーブルと［販売］テーブルを結合し，［顧客名］の値が「清水香織」である，［販売日］［顧客名］［商品コード］［数量］を抽出 このSQL文の処理手続きの説明を説明します。考えられる処理手続きのパターンをすべて示したいところですが，ジョインを実施する場合，処理手続きのパターンは何パターンにもなります。まず，ジョインの処理方法には複数あります。そして，それぞれのジョインの処理方法ごとに，何通りもの手続きが考えられるからです。 代表的なジョインの処理方法には，「ネステッドループ・ジョイン」「ソートマージ・ジョイン」「ハッシュ・ジョイン」――が
最短かつ最速にアクセスする「DB高速化技術」（後編）
＞＞前編 ハッシュ利用で比較を減らす 後編ではまず，オプティマイザが選択する最短経路を紹介する。 複数のテーブルを共通のキーを用いて結合する「ジョイン」はいくつかの方式がある。その一つであるハッシュ・ジョインは，ハッシュ関数を使って，一つのテーブルのキーからハッシュ値を計算する（図4）。さらに，ハッシュ値と該当するデータで構成する「ハッシュ・テーブル」を作成する。同様に二つ目のテーブルからハッシュ値を計算し，その値を基に検索するハッシュ・テーブルのレコードを特定する。ハッシュ値を計算するだけで比較対象のデータが絞り込めるので，ほかのジョイン方式よりも高速になる場合がある。ただし，「各テーブルを展開できるだけのメモリー容量が必要になる。メモリーが足りないと逆に遅くなる」（伊藤忠テクノソリューションズ プラットフォーム技術部 部長代行 宮田武氏）といった注意点がある。 図4●ハッシュ・ジョイン
オンラインマニュアル ページ移転のお知らせ：ミドルウェア：ソフトウェア：日立
日立オープンミドルウェアは、お客様の既存の財産を生かしながら、高い信頼性と柔軟性、自律性を備えたITシステムの実現を支えています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログイン - はてな
GitHub - vi/fdlinecombine: Read multiple fds and print data to stdout linewise.
深い親子関係のテーブル設計
並列データベースシステムの概念と原理
Query Optimizations
MySQL: Welcome
MySQLチューニング虎の巻／ソートに関連するトピックとクエリの書き換え
