SQLite3でUpsertを実行する
似たような処理にreplaceがあるが、 replaceはレコード(行)を丸ごと入れ替える(delete/insert)のに対し、 upsertはカラムを指定してレコードを更新する。 SQLite3 でレコードがあれば置換、なければ新規挿入する (replace) 公式 によると PostgreSQL の構文を利用しているとのこと。 Microsoft SQLServer や Oracle の「merge(マージ)」構文に近い使い方だが mergeは重複の判定にUniqueカラム以外のものを指定できたりする。 実行例 「upsert」というコマンドがあるわけではなく、 on conflict文を使い キーが重複した場合の処理を指定することができる。 on conflict文は sqlite のバージョン3.24.0 から利用可能。 環境 Windows 10 sqlite3 (3.24.0
第158回 Invisible Columnsの使いどころ | gihyo.jp
MySQL 8.0.23では、新たな機能としてInvisible Columnsが導入されました。この機能は、あるカラムを「存在はしているけれども明示的に指定しない場合は参照しないカラムとして扱う」ことができるようになっています。今回はこのInvisible Columnsの機能について見ていきましょう。 なお、似た機能である、invisible indexesについては第110回 Invisible Indexesを使って気軽にチューニングを始めてみるで紹介しておりますのでそちらをご参照ください。また、今回利用しているMySQLのバージョンは8.0.26となります。 Invisible columnsのあるテーブルの作成 Invisibleなカラムのあるテーブルを作成するには、InvisibleにしたいカラムにINVISIBLEをつけてCREATE TABLE文で実行するか、ALTER
SQLを速くするぞ―お手軽パフォーマンス・チューニング
このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、『プログラマのためのSQL 第2版』の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。 最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、それはボトルネック（一番遅いところ）を改善することです。当たり前ですが、既に十分速い処理をもっと速くしたところで、システム全体のパフォーマンスには影響しません。従って「処理が遅い」と感じたら、最初にすることは、SQL やアプリの改修ではなく、「どこが遅いのか」を調査することです。いきなりあてずっぽうで改善をはじめても効果は出ません。医者が患者を診るとき最初にすることが検査であるのと同じです。病因が何であるかを突き止めてからでないと、正しい処方はできないのです。 その基本を承知していただいた
SQLiteで構造体リストをそのままinsertしたい
一括挿入によると SQLite には、データを一括挿入するための特別な方法はありません。 データの挿入または更新時に最適なパフォーマンスを得るには、以下を行ってください。 トランザクションの使用。 同じパラメーター化コマンドの再利用。 後続の実行で、最初の実行のコンパイルを再利用します。 と案内されています。 マシン環境が異なるので所要時間が異なりますが、 takemori_kondoさんのコード： 402ms 一括挿入： 230ms 一括挿入からtranをコメントアウト： 243,755ms と愚直にループしてもかなり高速になります。 #if false foreach (var group in list.Select((hv, i) => (hv, i)).GroupBy(x => x.i / 1000)) { using var cmd = conn.CreateCommand()
JSON や CSV で SELECT * FROM したいときは columnq-cli が便利
techfeed 経由で下記のスレッドを見かけたのですが、タイトルだけでも既に面白そうです。 また、ちょっと前から Notion のデータベースを各種コンテンツへ変換するツールを作っていまして、これを組み合わせるといろいろ楽できそうな予感がします。 そのようなわけで、スレッドで紹介されていた columnq-cli についての記事です。 columnq-cli とは？ README を読むと「各種データをテーブルとして SELECT できるようにする CLI ツール」で、テーブルソースには JSON などの他に ROAPI でサポートされているものを扱えるとのこと。 (SELECT のみで更新はできない) ここで ROAPI とはなんぞやとなりますが、こちらは「ローカルのファイルシステムや各種サービスのデータを統合的に扱える(SELECT できる)サーバー」を構築できるそうです。 図 1-
AccessがSQLの括弧を勝手に消す - OKWAVE
Access2010 でクエリをSQLビューで記述し、保存して閉じると 次にSQLビューを開いたときにSQLが変わってます。 改行が消されてたり、()括弧が消されてたり。 改行はまだいいんです。読み難さを我慢するだけなので。 でも()括弧を消した結果、SQL文法エラーになることがあり、 （それも他のDBでは正常に判定されるような、Access独自の構文解釈エラー） そうなるとSQLビューで開けず修正できず、泣く泣くクエリを作り直すハメになります。 ()括弧を勝手に消しておいて、文法エラーだから作り直せ なんて、 Accessは頭悪いとしか思えません。。。 勝手に変更されないようにできませんかね？
ER図の自動生成について、dbdiagram.io, DBeaver, A5M2 を比較してみる。 - Qiita
はじめに データベース設計のER図について、自動で生成する以下３つのツールを比較した記事です。 dbdiagram.io DBeaver A5:SQL Mk-2（A5M2） 先日、こちらの記事をQiitaに投稿したところ、多くの方に記事を見ていただき、コメントも多数いただきました。 ER図に関するお勧めのツールをコメントいただく方が多くいらっしゃいました。 今回はその中から、無料でも利用できる3つのツールの「ER図の自動生成」の機能を試します。 比較の結論としては、〇〇が一番良いという感想ではなく、どのツールも多機能で、できることは違うので、今後使うときは用途や業務の環境によって使い分けていけたらと思っています。 目次 それぞれのツールについて、下記の内容を書いていきます。 1. dbdiagram.io 1-1. 始める 1-2. 使う 1-3. 感想 2. DBeaver 2-1. 始
【解説】データサイエンス100本ノックの始め方
本記事は、M1 Macbookを用いた手順になります。 WindowsのPCの方は、適宜読み替えて実施していただければと思います。 なお、本ブログでは、データサイエンス100本ノックの全解答解説を掲載しています。 ブックマークなどして答え合わせに役立てていただければと思います。 データサイエンス100本ノックの回答集 | タグ: datascience - omathin blog DockerのインストールまずはDockerをインストールしましょう。 以下の記事にまとめられている方法で導入可能です。 https://qiita.com/ao41/items/5feb96cd01c312407a2b 本記事におけるDockerとDocker Composeのバージョンは以下のとおりです。 terminal$ docker --version Docker version 20.10.1,
「データサイエンス100本ノック」の生みの親はなぜ「3言語のサポート」と「Docker」にこだわったのか
2020年6月15日、一般社団法人データサイエンティスト協会（以下、データサイエンティスト協会）は、データサイエンス初学者が構造化データの集計・加工を効率的に学べる演習環境「データサイエンス100本ノック（構造化データ加工編）」を、「GitHub」で無償公開した。公開直後からデータサイエンスに関わる技術者の間で大きな話題を集め、その内容や利用法を紹介するコンテンツがネット上で数多く公開された。 このデータサイエンス100本ノックの「生みの親」ともいえるのが、データ解析設計事務所の森谷和弘氏だ。同氏はフリーランスのデータサイエンティストとして活動する傍ら、データアナリティクスラボの取締役CTO（最高技術責任者）として、データサイエンティスト人材を一から育成して企業に派遣する事業に携わっている。 本稿では、データサイエンス100本ノックのこだわったポイントや活用するためのコツ、今後の展望につい
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
ER Master
<body> <span>このページはフレーム対応のブラウザでご覧ください。</span> </body>
Excelの定義書からVBAでSQLを作成する
CREATE文を作成するマクロ とりあえず、最も使いそうなCREATE文(DDL)を作成するVBAマクロを作ってみることにしました。 ソースは以下になります。 '=====定数定義===== 'テーブル物理名のセル番号 Private Const COL_TABLE_NAME As Integer = 4 Private Const ROW_TABLE_NAME As Long = 1 'テーブル論理名のセル番号 Private Const COL_TABLE_COMMENT As Integer = 4 Private Const ROW_TABLE_COMMENT As Long = 2 '項目開始行 Private Const ROW_COLUMNS_START As Long = 5 '項目の列定義 Enum enm_columns NO = 2 'No COLUMN_NAME '
ExcelからCreate文を | SQLServer大好き
Excelに記入したテーブル定義から、Create文をマクロで作成します。 Create文作成マクロ入りExcel：create_table_macro.xls テーブル定義書Excel：table_doc_sample.xlt ～使い方～ 1.C:\workフォルダを作成します。 2.テーブル定義書EXCELファイルを開いて、作成したいテーブルのシートを選択します。 テーブル定義書のサンプル：table_doc_sample.xlt 3.テーブル作成マクロ入りEXCELのマクロを実行します。 4.C:\work\create.txtが出来上がります。 作成されたcreate文を使って、DBにテーブルを作成します。 0 people found this article useful This article was helpful This article was helpful 0 p
Oracle で DDL を取得する - ふなWiki
DDLの取得 DBMS_METADATA.GET_DDL GET_DDLを使うとDDLを取得できる。 DDLの出力形式を変更する https://siguniang.wordpress.com/2013/09/04/oracle-dbms_metadata-get_ddl-fetch-ddl-for-tables/ https://www.toadworld.com/platforms/oracle/b/weblog/archive/2015/11/25/get-ddl-and-set-transform-param-in-dbms-metadata https://stackoverflow.com/questions/6782278/generating-ddl-script-for-object-without-schema-name-baked-in-using-dbms-meta
【Oracle】直近5分以内に実行したSQLの履歴とバインド変数を確認する - 小さい頃はエラ呼吸
はじめに アプリケーションから発行したSQLがうまく動作しない場合、発行したSQLが分かれば調査の手がかりとなります。Oracleのv$sqlを参照すると、実行したSQLの履歴とバインド変数を確認することができます。 ざっくり言うと SQLの実行履歴はv$sqlテーブルを見ると分かる。 行が多すぎるため、SQLの断片を検索条件に含めると良い。 バインド変数の確認はv$sql_bind_captureを見ると分かる。 新・門外不出のOracle現場ワザ エキスパートが明かす運用・管理の極意 (DB Selection)posted with amazlet at 15.06.06小田 圭二 大塚 信男 五十嵐 建平 谷 敦雄 宮崎 博之 神田 達成 村方 仁 翔泳社 売り上げランキング: 76,494 Amazon.co.jpで詳細を見る 直近5分間に実行されたSQLを参照する 以下のクエリ
SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ
すべてのエディタでSQLの自動補完をするためにSQL Language Server(sqls)を作った - Qiita
sqlsとは sqlsとは、いま私が開発中のSQL用Language Serverです。SQLをエディタで編集するときの支援機能を実装したサーバとなっており、主な特徴は以下です。 Language ServerなのでLSクライアントが存在するエディタであればどんなエディタでも利用可能 SQL編集支援機能 自動補完(テーブル名、カラム名など) 定義参照 SQL実行 複数のRDSMSに対応 MySQL PostgreSQL SQLite3 Language Serverとは Language Server(あるいはLanguage Server Protocol)とは、プログラム言語の開発支援機能をエディタに提供するサーバ、およびその通信内容を規定したプロトコルです。ただしサーバといってもほとんどの場合ローカル内にホスティングしてローカルのエディタと通信をします。 ここでは主題ではないので詳し
LINQ to SQLで複合キーのExists句を書く - modest violet
単一のExists句を表す場合はContainsを使用していましたが、複数のキーでExistsを実現させねばならない状況に陥ったので、勉強がてらにまとめました。 単一キーのExistsの場合 基となるSQL SELECT * FROM table_A as A WHERE EXISTS ( SELECT * FROM table_B As B WHERE A.Key1 = B.Key1 ) メソッド式（C#） table_A .Select(s => s) .Where(t1 => table_B.Select(t2 = > t2.Key1) .Contains(t1.Key1) ポイントは、table_Bで一致させたい項目をSelectで絞り込んだ結果に対して、Containsを行う点です。 IN句に近いイメージですが、生成されるSQLはEXISTSになります。 複合キーのExistsの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sqlime - Online SQLite playground
OracleのCLOBデータを文字列(VARCHAR2)で取得・表示する
