Why SELECT COUNT(*) FROM TABLE Is Sometimes Very Slow in MySQL or MariaDB
If you have enough experience with MySQL, it is very possible that you stumbled upon an unusually slow SELECT COUNT(*) FROM TABLE; query execution, at least occasionally. Recently, I had a chance to investigate some of these cases closer, and it stunned me what huge differences there can be depending on the circumstance given the very same table. As the problem turned out to be much more complex t
Defending new vectors: Threat actors attempt SQL Server to cloud lateral movement | Microsoft Security Blog
Microsoft security researchers recently identified a campaign where attackers attempted to move laterally to a cloud environment through a SQL Server instance. This attack technique demonstrates an approach we’ve seen in other cloud services such as VMs and Kubernetes cluster, but not in SQL Server. The attackers initially exploited a SQL injection vulnerability in an application within the target
Postgres is Enough
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
今日はhas_manyのブロック引数に関して取り上げます。 以下のモデルを想定します。 # attributes # # name: 氏名 # attendance_count: 出席回数 class Student < ApplicationRecord has_many :exams end # attributes # # student_id: 学生ID # subject: 教科 # period: テスト実施回 # score: 得点 class Exam < ApplicationRecord belongs_to :student end スコープブロック has_many のブロックと聞くとまずスコープブロックが思いつくと思います。 今回のテーマのブロック引数とは異なりますが、先にスコープブロックに関して触れていきます。 スコープブロックは has_many の第2引数に
ずいぶんご無沙汰のブログ記事となりました。 今回は、設計を一新して速く、頑強になった PG-Strom v5.0 をご紹介します。 なぜ再設計が必要だったのか？ 前バージョンの PG-Strom v3.x シリーズの基本的な設計は、2018年のPG-Strom v2.0の頃から大きく変わっていません。 当時の最新GPUモデルは Volta 世代（TESLA V100）で、CUDAのバージョンは9.2ですから、かなりの大昔という事はお分かり頂けると思います。 この頃、PG-Stromの開発において最優先すべき課題は、先ず実用となるバージョンをリリースする事でした。（※ HeteroDB社の創業は2017年7月です） クエリの処理速度を高速化する事は当然なのですが、それ以上に、まだPG-Stromの内部インフラも十分に枯れていない中で、クラッシュせずに走り切る事や、バグがあったとしても容易に原
Autogenerating django integration tests using Kolo and trace inversion Kolo test generation in action I don’t enjoy writing tests I have a confession to make: I don’t enjoy writing tests. I really enjoy writing code, really enjoy bringing a feature to life and getting it out there, but writing tests is probably my least favourite part. I do appreciate the tests that already exist, the ones that ma
What’s new in the Postgres 16 query planner / optimizer
PostgreSQL 16 introduces quite a few improvements to the query planner and makes many SQL queries run faster than they did on previous versions of PostgreSQL. If you look at the PG16 release notes, you’ll see some of these planner improvements. But with the volume of changes made in each PostgreSQL release, it’s not possible to provide enough detail about each and every change. So maybe you might
GitHub - Florents-Tselai/pgJQ: jq extension for Postgres
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - tembo-io/pg_later: Execute SQL now and get the results later.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Ten years of improvements in PostgreSQL's optimizer · Ryan Marcus
As a query optimization researcher, I’ve spent the last 10 years of my life playing with, learning from, and building on top of the most sophisticated open source query optimizer out there, PostgreSQL. I recently wondered how much PostgreSQL had improved over the decade since I started working on databases. While changelogs and opinion pieces were plentiful, I couldn’t find any strong empirical co
PostgreSQL 16正式リリース。フルジョインの並列性向上、論理レプリケーションによる外部へのデータ転送など新機能
PostgreSQL 16正式リリース。フルジョインの並列性向上、論理レプリケーションによる外部へのデータ転送など新機能 オープンソースのリレーショナルデータベース「PostgreSQL 16」正式版がリリースされました（日本語のプレスリリース）。 PostgreSQLは約9万人のITエンジニアを対象にアンケートを行ったStack Overflowの調査で最も使われているデータベースとなっているなど、最近特に人気が高まっています。 参考：Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey PostgreSQL 16ではクエリの並列処理、バルクデータローディング、論理レプリケーションが顕著に改善され
How can I troubleshoot low freeable memory in an Amazon RDS for MySQL database? I run an Amazon Relational Database Service (Amazon RDS) for MySQL instance. I see that my available memory is low, my database is out of memory, or low memory is causing latency issues in my application. I want to identify the source of the memory utilization and troubleshoot. Short description In Amazon RDS for MySQL
改善点 github.com/go-sql-driver/mysql (以降 go-mysql) の v1.8 から、Scanの振る舞いが変わります。 go-mysql v1.7.1 までは、次のコードの2つのクエリのScan結果は異なっていました。 // db の接続設定で interpolateParams が false の場合 var v any db.QueryRow("SELECT 123 WHERE ? = 1", 1).Scan(&v) fmt.Printf("%T %v\n", v, v) // int64 123 db.QueryRow("SELECT 123 WHERE 1 = 1").Scan(&v) fmt.Printf("%T %v\n", v, v) // []uint8 [49 50 51] go-mysql v1.8 (未リリース)からは、これが上の動作に
GitHub - sbdchd/squawk: 🐘 linter for PostgreSQL, focused on migrations
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Happy New Year: GPT in 500 lines of SQL - EXPLAIN EXTENDED
Translations: Russian This year, the talk of the town was AI and how it can do everything for you. I like it when someone or something does everything for me. To this end, I decided to ask ChatGPT to write my New Year's post: "Hey ChatGPT. Can you implement a large language model in SQL?" "No, SQL is not suitable for implementing large language models. SQL is a language for managing and querying d
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？［PR］
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？［PR］ 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of
Python: Just write SQL
I have been writing a lot more Go this past year. For those not familiar, Go favours a non-ORM, non-query-builder approach to interacting with databases. This comes naturally due to the sql package: A common interface to be used alongside database drivers. It’s very common to see actual SQL in Go, even in large projects. On the other hand, Python does not have anything in the standard library that
DevOps Topologies 10 years on: what have we learned about silos, collaboration, and flow? - Matthew Skelton, Conflux
MySQLのREPEATABLE READとREAD COMMITTEDのロック状況をdata_locksから観察する - $shibayu36->blog;
前回MySQLのREPEATABLE READとREAD COMMITTEDの違いを知るために色々試した - $shibayu36->blog;という記事を書いたところ、yoku0825さんにMySQL 8.0以降だとperformance_schema.data_locksが使えると教えてもらったので試した。 ちなみに、後ろからロックがぶつかるクエリを実行しなくても、MySQL 8.0だとSELECT * FROM performance_schema.data_locksでロックの範囲を確かめることができます。 ギャップつきロックがInnoDBのスタンダードで、X lockがレコードとギャップのロック、X not gapが単なるレコードロックになります— yoku0825 (@yoku0825) February 27, 2024 テーブル定義 CREATE TABLE `posts`
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
https://mysql-unconference.connpass.com/event/310279/ https://amamanamam.hatenablog.com/entry/2024/02/11/005331
Fixing bug 109595 makes MySQL almost 4X faster on the Insert Benchmark
MySQL 8.0.35 includes a fix for bug 109595 and with that fix the QPS is almost 4X larger on the read+write benchmark steps compared to MySQL 8.0.34. Thank you to MySQL for fixing this quickly. I reported the bug in January of 2023. I have been aware of the performance problem for years, but didn't spend time debugging it until this year. I assume this problem was limited to InnoDB because I did no
はじめに 最近 𝕏 で， Go のプロジェクトで起こっていたタイムゾーンに起因するトラブルをきっかけとして話を広げていったポストがありましたが，そのとき意外と反響がありました。 その一方で，時間をかけて設計された社内の PHP プロジェクトでは比較的トラブル少なく解決できているので，その知見を共有していこうと思います。 （将来的には Go のプロジェクトにも知見を応用できればいいなと考えています） データベースについて RDBMS の選定 さて，まず Laravel にフォーカスした話をする前に，データベース上での日付時刻のデータ型の選び方というアプローチからこの記事を書こうと思ったのですが，さらにその前に使用する RDBMS を決めなければなりませんね。 MySQL か Postgres を選ぶ状況が多いと思うので，この 2 つに絞って回答します。 Postgres を使ってください。
Amazon Aurora and Amazon RDS announces Extended Support for MySQL and PostgreSQL databases
Amazon Relational Database Service (RDS) announces Amazon RDS Extended Support for Amazon Aurora and Amazon RDS database instances running MySQL 5.7, PostgreSQL 11, and higher major versions beyond the community end of life. Amazon RDS Extended Support provides you more time, up to three years, to upgrade to a new major version to help you meet your business requirements. Extended Support is avail
Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ | DevelopersIO
スナップショット 切り替えのタイミングでスナップショットを取得し、新クラスタを作成します。 スナップショットはRDSからAuroraへの移行だけでなく、メジャーアップグレードにも使えるため、その両方を同時に実現するのが良いでしょう。 新クラスタを作成するため、データベースのエンドポイントが変わります。 Blue/Greenデプロイメント RDS間、及び、Aurora間でメジャーアップグレードする場合、Blue/Greenデプロイメントが使えます。 ダウンタイムはスイッチオーバー時の一瞬ですし、アプリケーションの接続先が同じになるようなエンドポイントの調整や、切り替え時のデータロス対策等がフルマネージドで行われ、切り戻し先も残ります。 RDSあるいはAuroraに閉じて短いダウンタイムでメジャーアップグレードするのであれば最有力です。 RDSからAuroraへのBlue/GreenやAuro
はじめに 今回の記事では、RPG『ドラゴンクエスト』に登場する武器のデータを用いてSQLを、チートシート形式で徹底解説する。なお、本記事にて登場する武器や防具はドラゴンクエスト大辞典のデータを参照する。 対象とする読者 これからSQLを学ぶ初心者や、データベース(SQL)で詰まっている初心者。 SQLとは SQL（Structured Query Language）は、リレーショナルデータベース管理システム（RDBMS）でデータを操作・管理するための標準的な言語だ。SQLではデータの取得、挿入、更新、削除などの操作を行うためのコマンドが提供されている。SQLはデータベースの基礎となる言語であり、エンジニアだけでなく、データアナリストや科学者にも利用されている。 SQLは大きく分けて次のようなコマンドから成り立っている。 命令 説明 文法
意思決定に繋げるためのデータ分析の型『Data Analytics Seven Steps』｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
こんにちは。高橋です。普段はコンサルとしてデータ分析を活用したデジタルマーケティング支援をやっております。最近では『データ分析力を高める ビジネスパーソンのためのSQL入門』を出版してSQLを使ったデータ分析の普及活動を頑張っております。 今回は自分が本業や複業などで色々なデータ分析案件に携わった経験から意思決定に繋げるためのデータ分析のステップについてまとめてみました。 正しくデータ分析ができているかデータ分析がビジネスにおいて重要であるということは、今の時代当たり前になりつつあります。 どんな企業でも、どんなビジネスパーソンでもデータを活用する流れはもはや止めることはできない時代に来ています。 しかし、実際にデータ分析が正しくできているかと言うと、必ずしもそうではないと感じることがあります。 データを見ただけて終わる 今あるデータから何かわからない？ そもそも使えるデータなんてない デ
Kysely | Kysely
Type-safe SQL queriesKysely let's you write type-safe SQL queries. This eliminates entire classes of errors and let's you sleep peacefully at night. No magic, just SQLKysely is a light abstraction layer over SQL. This makes it easy to reason about performance, and reduces the amount of concepts you need to learn to be proficient with the library. Great autocompletionBy exposing your database schem
MySQLは広く使用されているオープンソースのリレーショナルデータベース管理システムであり、パフォーマンスの最適化はデータベースエンジニアにとって重要なスキルです。このブログでは、実例を交えながらMySQLのパフォーマンスチューニングの手法とベストプラクティスについて解説します。これらのテクニックを活用することで、MySQLデータベースのパフォーマンスを向上させることができます。 クエリの最適化と実例 MySQLのパフォーマンスチューニングにおいて、クエリの最適化は重要な要素です。この記事では、具体的なSQL文や設定例を交えながら、クエリの最適化について詳しく解説します。これにより、MySQLデータベースのパフォーマンスを向上させるための実践的な知識を得ることができます。 インデックスの適切な使用 インデックスは特定のカラムの、あるレコードをすばやく見つけるために使用されるものです。検索が
SlashGPT is a playground for developers to make quick prototypes of LLM agents (or apps with Natural Language UI). Here are the design goals: Extremely easy to create a new LLM agent. You just need to add a new manifest file (in Json or YAML). Instantly switch among agents, by just typing "/{agent_name}" Extensible enough so that it is possible to implement most of LLM agents without writing any c
PythonからMySQLデータベースへの接続と操作を行う手順を解説します。MySQLとPythonの連携が具体的に使われる場面や必要なライブラリの導入から始まり、データベースの作成、テーブルの操作、データの挿入・取得・更新・削除までをサンプルコードとともに紹介しています。 はじめに Pythonは汎用性が高く、データベースとの連携も得意とされています。MySQLは広く利用されるデータベース管理システムであり、PythonからMySQLを操作することでウェブアプリケーションの開発やデータ解析、ユーザー管理など幅広い用途に活用できます。 本記事ではPythonからMySQLデータベースに接続して基本的な操作を行う手順を、サンプルコードを交えて解説します。 MySQLとは？ MySQLはオープンソースかつ高性能なリレーショナルデータベース管理システム(RDBMS)であり、データの格納や取得、更
この記事はMySQLのカレンダー | Advent Calendar 2023 - Qiitaの19日目の記事です。 MySQLのredoログには何が書かれているのだろうか？ そんな疑問を解決するために私はアマゾンの奥地へと旅立つことにしました。 MySQLはSQLをパースし、実行計画を立てたあと、実際にストレージ(メモリ含む)でデータを処理する部分はプラガブルなストレージエンジンに実装を移譲する設計になっています。 しかし、処理をストレージエンジンがトランザクションをサポートしないことも選択できるため、クラッシュリカバリのための機構を実装していない可能性もあります。 そのため、レプリケーションにも利用されるバイナリログがWrite Ahead Loggingされていて、クラッシュリカバリやPITRにもバイナリログが主に使われています。(と、筆者は理解しています。). なので、運用上はバイ
Doc: use "an SQL" instead of "a SQL" Although which is correct depends entirely on whether you pronounce SQL as "ess-que-ell" or "sequel", we have standardized on the former in our user-facing documentation, so use the correct article according to that pronunciation. Discussion: https://postgr.es/m/CAApHDvp3osQwQam+wNTp9BdhP+QfWO6aY6ZTixQQMfM-UArKCw@mail.gmail.com
GitHub - zknill/sqledge: Replicate postgres to SQLite on the edge
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - AmrDeveloper/GQL: Git Query language is a SQL like language to perform queries on .git files with supports of most of SQL features such as grouping, ordering and aggregations functions
SELECT 1 SELECT 1 + 2 SELECT LEN("Git Query Language") SELECT "One" IN ("One", "Two", "Three") SELECT "Git Query Language" LIKE "%Query%" SELECT DISTINCT title AS tt FROM commits SELECT name, COUNT(name) AS commit_num FROM commits GROUP BY name ORDER BY commit_num DESC LIMIT 10 SELECT commit_count FROM branches WHERE commit_count BETWEEN 0 .. 10 SELECT * FROM refs WHERE type = "branch" SELECT * FR
GitHub - Dataherald/dataherald: Interact with your SQL database, Natural Language to SQL using LLMs
Query your structured data in natural language. | | Docs | Homepage Dataherald is a natural language-to-SQL engine built for enterprise-level question answering over structured data. It allows you to set up an API from your database that can answer questions in plain English. You can use Dataherald to: Allow business users to get insights from the data warehouse without going through a data analys
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？ - Qiita Zine
sponsored by PingCAP株式会社 | 制作：Publickey 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of Concept：概念検証）として評価。その結果も発表されました。 メルカリ
オンプレPostgreSQLをAmazon Aurora PostgreSQLへ移行しようとしてINDEX作成にハマりました - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
SREの林 aka もりはやです。 先日オンプレで稼働していたとあるPostgreSQLのDBを、Amazon Aurora PostgreSQL（以後はAurora）に移行を行ったところ CREATE INDEX が以下のエラーで作成できない問題に苦労させられたため、解決策と合わせて公開します。 これがベストな対応かは自信がないため、より良い方法をご存知の方はお気軽に教えてください。 以下はDBのリストア中に CREATE INDEX で発生したエラーです。 pg_restore: error: could not execute query: ERROR: could not write to file "base/pgsql_tmp/pgsql_tmp19647.47.fileset/1.2": No space left on device CONTEXT: parallel wo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing MySQL Innovation and Long-Term Support (LTS) versions
has_manyにブロック引数を渡してリレーションを拡張する｜TechRacho by BPS株式会社
PG-Strom v5.0 - KaiGaiの俺メモ
How to spend less time writing Django tests
yokuさんにutf8→utf8mb4binのときに教えてもらった便利Tips
Troubleshoot low freeable memory in Amazon RDS for MySQL
go-mysqlでany型へのScan()が使いやすくなります
Dive into InnoDB from redo logs
Postgres is eating the database world
大テーブルと小テーブルのJOINのコスト計算の話
後悔しない日付時刻・タイムゾーン設計と Laravel での実践法
『ドラゴンクエスト』の武器データでSQLを学ぶ記事
【MySQL】パフォーマンスチューニング: 実例を交えた解説｜Yuu's Memo
GitHub - snakajima/SlashGPT
PythonからMySQLに接続してデータベースを操作するには - TECH PLAY Magazine
InnoDB redo logを解読している話 - tom__bo’s Blog
git.postgresql.org Git - postgresql.git/commit