リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
SQL Polyglot
Run a query and get results from: postgres:16.2 mysql:8.1 sqlite:3.45 mssql:2022 mariadb:11.2 clickhouse:23.10 duckdb:0.10 Write a query below or pick one: columns join using exists group by rollup window percentile fetch upsert except json recursive cte information schema arrays strings select dense_rank() over w as erank, first_name, dep.name as dep_name, salary from employee as emp join departm
xlsxファイルにSQLを実行するxlsxsql - Qiita
xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何？ xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます。 trdsqlにxlsxファイルの読み書き機能を追加したものになります。 使い方 単純にファイルをテーブルとして指定できます。 -oまたは-outオプションは出力ファイル形式を指定します。 CSV, LTSV, JSON, JSONL, YAML, TBLN, AT, MD等が指定できます。
Amazon AthenaでIPレンジを使ってアクセスログを集計したい - hitode909の日記
運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。
業務でどれだけSQL力がつくのか ~SQLアンチパターンを用いて確認~ 前編
はじめに こんにちは。 GMOアドマーケティングのKONCEです。 新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。 今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。 今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅰ部 データベース論理設計のアンチパターン 2-1. [○]1章 ジェイウォーク（信号無視） 2-2. [×]2章 ナイーブツリー（素朴な木） 2-3. [○]3章 IDリクワイアド（とりあえずID） 2
SQLの負荷分析と改善 - ボクココ
ども、@kimihom です。 今回 SQL の負荷を分析して改善することをしたので、その実施を残しておこう。 パフォーマンス解析 基礎 何かしらサービスをローンチする時点で、パフォーマンス解析するようなサービスを導入することかと思う。 New Relic | パフォーマンス分析プラットフォーム Application Monitoring for Ruby, PHP, Node.js, Python, and Elixir ~ Scout Application Monitoring for Ruby on Rails, Elixir & Node.js | AppSignal APM 実際にその "SQL をどの頻度で使っているのか、平均どのくらい時間がかかっているのか" を定期的にチェックするのが、サービスの運用として必要なことになる。 最初のローンチ時点で SQL の負荷がとてもか
Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応
Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応 SQL文を直接書かなくとも、自動的にSQL文を生成、実行してくれるORM（Object-Relational Mapper）は、プログラミングを容易にしてくれる技術としてRailsやHibernate、Springなどさまざまなフレームワークなどで活用されています。 一方で、ORMが生成するSQL文はときに複雑に、あるいは非効率なものとなり、データベース処理の遅さにつながることもあります。 このとき、SQL文の生成と実行を明示的にコードとして記述する必要がないというORMの特徴が、なぜデータベース処理が遅くなったのか、どのようなSQL文が生成され、そのどこに原因があるのか、といった調査を難しくている面があり
websec-room.com - websec room リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
ポケモンを題材に「SQLアンチパターン」を実践してみる - kanayamaのブログ
@tkanayama_です。「SQLアンチパターン *1」 という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。 前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記 登場人物 ストーリー フシギダネへの対応 ヤミカラスへの対応 ディグダへの対応 誤登録でポケモントレーナーになってしまったユーザーの削除 最後に 謝辞 追記 このブログを公開後、「外部キー制約はレコードロック周りのト
Django使いのためのSQLAlchemyチュートリアル - SELECT * FROM life;
最近Pythonを使い始めた人の多くが最初に使うPythonのORMはDjangoに附属しているやつなんじゃないかと思います。そういった人が、後になってSQLAlchemyを使うと、必要以上に複雑で使いにくいと感じることもあるようです。かく言う僕もそんな感じで、長らく研究用スクリプトにもDjangoのORMを無理矢理組み込んで使っていました。 しかしながら、最近になって(研究室の輪講の為に)SQLAlchemyの使い方を勉強し直したところ、この認識を改めるに至りました。このことをもっと多くの人とシェアしようと思い、キーボードに手を置いた次第です。本稿では、DjangoのORMを使ったことがある人を対象に、SQLAlchemyの使い方を、両者の違いと共通点を意識しながら解説したいと思います。 SQLAlchemyバリバリ使ってる人 間違ってる箇所や、こういう便利な機能あるよ、というのがあった
「SQLアンチパターン」を避けるためのチェックリスト①（DB論理設計編） - log4ketancho
ずっと前から積ん読状態だった「SQLアンチパターン」を読みました。 何年積んでたか分からないSQLアンチパターン読み終わったー。噂に違わずいい本ですねー。もっと早く読むべきだった。— @ketancho (@ketancho) 2018年3月6日 噂通りとても良い本で、まさに「エンジニアとしての血肉本」と言えます。1, 2年目の頃に読んでおくべきだったなーと少し後悔しています。 SQLアンチパターン 作者: Bill Karwin,和田卓人,和田省二,児島修出版社/メーカー: オライリージャパン発売日: 2013/01/26メディア: 大型本購入: 9人 クリック: 698回この商品を含むブログ (46件) を見る 読んで終わりだと身につかないと思うので、自分なりのチェックポイントを言語化しておこうと思います。長くなってしまったので、章ごとに4つに分けたいと思います。この記事はその第一弾と
SQLAlchemy使い方〜クエリ操作 - のんびりSEの議事録
この記事はPython Advent Calendar その2の20日目の記事です。 PythonでメインでSQLAlchemyを使用しているのですが、せっかくORMを使用しているのに、生SQLばかり書いているのも良くないので、そろそろ真面目に慣れたいなと思って、使い方〜クエリの操作まで記述しました。 sqlalchemyの基礎 データベースへ接続(pymysqlを使用) sqlalchemyモジュールのcreate_engineメソッドを利用する from sqlalchemy import create_engine username = 'username' password = 'password' host = 'localhost' dbname = 'database' engine = create_engine('mysql+pymysql://{username}:{p
sqlmap を使って SQL インジェクションの脆弱性を検証する - CUBE SUGAR CONTAINER
sqlmap は SQL インジェクションに特化したオープンソースのペネトレーションテストツール。 これを使うと Web アプリケーションの特定のパラメータに SQL インジェクションの脆弱性があるか否かを確認しやすい。 注意: 外部のサーバに使うことは攻撃となるので絶対にしないように。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G29 $ sqlmap --version 1.1.8#stable $ python --version Python 2.7.10 インストール sqlmap は Homebrew でインストールできる。 $ brew install sqlmap これで sqlmap コマンドが使えるようになる。 $ sqlmap --vers
SQL アンチパターン （Bill Karwin,和田卓人,和田省二,児島修 オライリージャパン） - サポンテ 勉強ノート
SQLアンチパターン 作者:Bill KarwinオライリージャパンAmazon 免責 この本を読んだことがない人が、このノートから本の内容を脳内に展開することはできません。見出し部分は Amazon などで「目次」の内容として公開されている範囲にとどまります。 この本を買うかどうか悩んでいる人は是非購入しましょう。これは価値のある本です。 本の紹介 SQL つまり RDBMS を使ったアプリケーション開発や運用の中で遭遇する「アンチパターン」についてまとめられている本です。出版年を見ると歴史が古いことがわかりますが、Amazon で見ると最近も非常に人気があるロングセラーであることがわかります。読んでみると、それは確かに納得のいくものでした。 アンチパターン、つまり「やらない方がよい手法」を集めたものですが＿＿多くの人が共感してくれると思いますが＿＿よくやってしまう手法でもありました。な
SQLで数字をカンマ区切りにして読みやすく表示させる(PostgreSQL/MariaDB/Oracle) | 俺的備忘録 〜なんかいろいろ〜
集計結果で数字を見る際に桁数がよくわからないことが会ったので、SQLで集計出力時に3桁ごとにカンマ区切りで見やすく表示させる対応をしたので備忘で残しておく。 各DBごとにSQLの記述が異なるのでひとまずよく使用されるMariaDB、PostgreSQL、OracleDB、SQL Serverごとで調べてみることにした。 1. MySQL/MariaDBの場合 MySQL/MariaDBの場合、対象のカラムをformat()で指定することで桁区切りが行える。 select format(1234567,0); MariaDB [test]> select format(1234567,0) num; +-----------+ | num | +-----------+ | 1,234,567 | +-----------+ 1 row in set (0.00 sec) 2.Postgre
Python: SQLAlchemy の生成する SQL をテストするパッケージを作ってみた - CUBE SUGAR CONTAINER
SQLAlchemy は Python でよく使われている O/R マッパーの一つ。 今回は、そんな SQLAlchemy が生成する SQL 文を確認するためのパッケージを作ってみたよ、という話。 具体的には、以下の sqlalchemy-profile というパッケージを作ってみた。 このエントリでは、なんでこんなものを作ったのかみたいな話をしてみる。 github.com 使った環境は次の通り。 ただし sqlalchemy-profile 自体はプラットフォームに依存せず Python 2.7, 3.3 ~ 3.6 に対応している。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion: 16E195 $ python --version Python 3.6.1 O/R マッパーについて O/R
ディレクターがSQLを覚えて捗った話 | CyberAgent Developers Blog
こんにちは、サイバーエージェントのメディア広告部門、 通称MDHで開発局の局長をやっている小越と申します。 我々の部署は「メディアの為の広告テクノロジー」というミッションで 日々配信サーバーやDMPの開発を通じてメディアの広告収益を 上げる事を仕事にしています。 今回は、我々の部署で導入して、とても捗った話を紹介したいと思います。 ■何をやったのか？(やっているのか？) 簡単に言うと、(1)ディレクターがSQLを覚えて、(2)データ分析に 必要なデータ抽出はディレクターがやるというルールを導入し、 実際に運用しています。 導入前の課題、導入後の効果、 そしてそれから更に何が起こったかを順番に説明していきます。 ■導入前の課題 皆さんの開発組織では、PDCAサイクルはどのように回ってますか？ PDCAとは我々の部署では以下のような行為と定義付ける事ができます。 P:プラン データ分析や戦略策
2016年11月15日 サブクエリを学んだ - きょくちょ日記 -THERE'S ONLY MAKE!-
3行まとめ 業務が忙しかった日はヘトヘトになってしまいブログを書かない傾向がある メモを取りながら業務を行っているので、業務が終わると同時にブログがほぼ完成している状態にしていこう canonical属性 URLの正規化 リンクポピュラリティ ページランク rel=canonical の指定は１ページで１つとし、かつページのheadタグ内で指定する。 http://やhttps://がついていない場合は、相対URLとして判断されます。 AMP(Accelerated Mobile Pages) : GoogleやTwitterなどが共同で参加しているAMPプロジェクトが構築した仕組み、もしくはそのためのHTML規格 Googleは2016年2月からスタート assertequals と assertsame equals はゆるい比較 1.0 ~ 2.0 までみたいな範囲指定もできたりする
分析SQLのコーディングスタイル - クックパッド開発者ブログ
SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
この素晴らしいSQLに祝福を！
