Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 | Google Cloud 公式ブログ
Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 ※この投稿は米国時間 2023 年 7 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud SQL は、MySQL、PostgreSQL、SQL Server のワークロードを実行するための Google Cloud のエンタープライズ対応フルマネージド データベース サービスです。デジタルサービスから銀行、小売業まで幅広い業界で利用されており、現在 Google Cloud を活用している上位 100 社のうち 95％ 以上のお客様が Cloud SQL を利用しています。より要求の厳しいワークロードがクラウドに移行するにつれ、より高いパフォーマンスと可用性を求める声が聞かれるようになりました。さらに、個々
2024年3月から始まるサポート期間が伸びるけれども費用もかかるAmazon RDS延長サポートとの付き合い方~MySQL 5.7/PostgreSQL 11を例に~ | DevelopersIO
メジャーアップグレードを先延ばしした場合のTCOと移行コストを比較しましょう。 延長サポート移行時のマイナーバージョンアップグレード方法 延長サポートは、特定のマイナーバージョンでのみサポートされています。 RDSを例に取ると、MySQLは5.7.44、PostgreSQLは11.22です。 マイナーバージョンの自動アップグレードを有効にしている場合、すでにこの最新マイナーバージョンにアップグレードされているはずです。 無効にしている場合、標準サポートの終了に伴い、延長サポート対象バージョンへ自動アップグレードされます。 ただし、自動アップグレードの実施タイミングは言及されておらず、メンテナンスウィンドウ中に実施される保証はありません(2024/01/10確認)。 アップグレードのタイミングをコントロールしたい場合、標準サポートが終了する前に、以下のどちらかを実施してください。 手動で実行
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
【20分で理解】小難しいインデックス・トランザクション・ロックを"サクッ"とMySQLでまとめてみた - Qiita
1. インデックス MySQLで利用可能なインデックスは一部を除き、B-Treeインデックスと呼ばれる構造でできてます。Bツリーインデックスは、ブランチノード(ブランチ), リーフノード(リーフ)で構成されており、ルートノードから数ステップで目的のデータに到達することができます。 データの格納とアクセス方法 クラスタインデックス MySQLのInnoDBストレージエンジンでは、すべてのテーブルは主キー（PRIMARY KEY）によるクラスタインデックスを持ちます。クラスタインデックスとは、データ行が主キーの値によって物理的に順序付けられた状態のことを指します。このため、主キーによる検索は非常に高速です。 セカンダリインデックス セカンダリインデックスは、クラスタインデックス以外のすべてのインデックスを指します。セカンダリインデックスのリーフページ（最下層のインデックスページ）には、インデッ
はじめに 先日Server-Side Kotlin MeetupのLT大会で登壇してきましたので、その内容をブログ記事でも公開します。 テーマはKotlin製のORマッパー、Ktormのクラス構造と機能拡張についてです。 Ktormの紹介 ktorm.org Ktormは、いくつかあるJDBCベースのKotlin製ORマッパーのうちの1つです。 それらの中でもっともメジャーと思われるExposedと比較すると、次のような特長があります。 シンプルな実行モデル 遅延実行やキャッシュなどの仕組みを持たないので、コードを読んで理解しやすく、SQLの実行タイミング等も把握しやすいです。 生SQLに近いDSL select() で検索条件を指定し slice() でカラムを指定する形式のExposedのDSL 1 に比べて、生SQLに近い文法を採用しており、SQLに習熟していれば少ない認知コストで読
What happened to Vivaldi Social? | Thomas Pike’s other blog
On Saturday 8 July 2023, user accounts started disappearing from the Vivaldi Social Mastodon instance. What was going on, how did this happen, and what were the consequences? This is a very long blog post, but to be fair, this was also to be a very long weekend. If you want to skip to the conclusion, there’s a TL;DR (too long; didn’t read) section at the end. Something’s not right It was around 17
こんにちは。アルダグラムでエンジニアしている森下霞です。 弊社では、MySQL のデータベース と Ruby on Rails を使用しています。 先日、モニタリングで UPDATE IN SELECT のクエリでデッドロックの発生に気づき、調査し、修正ができたため、デッドロックのデバッグ方法と解決策を紹介したいと思います。 背景 今回の問題は、アニメサービスを例に使って説明します。アニメは以下のテーブルで保存します。 CREATE TABLE anime ( id INT PRIMARY KEY NOT NULL AUTO_INCREMENT, title VARCHAR(255) NOT NULL, genre VARCHAR(100) NOT NULL, sort_order INT NOT NULL DEFAULT 0 ); CREATE INDEX index_anime_on_
【データ基盤構築/AWS Lambda】Pythonを使ってSnowflakeのデータをRDSにinsertする - Qiita
import sys import json import boto3 import ast import os import snowflake.connector import pymysql from snowflake.connector import DictCursor from sqlalchemy import create_engine from sqlalchemy.sql import text from datetime import datetime def lambda_handler(event, context): # 今日の日付とSQLを実行する日時を変数で用意 today = datetime.now() updated_at_str = datetime.strftime(today, '%Y-%m-%d %H:%M:%S') ## Snowflake
Unexplanations: sql is syntactic sugar for relational algebra
Unexplanations: sql is syntactic sugar for relational algebra This idea is particularly sticky because it was more or less true 50 years ago, and it's a passable mental model to use when learning sql. But it's an inadequate mental model for building new sql frontends, designing new query languages, or writing tools likes ORMs that abstract over sql. Before we get into that, we first have to figure
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
MysqlRewinder という gem を作った | BLOG - DeNA Engineering
gem の概要 database_rewinder という gem があります。 これを使うとテストケースを実行するたびに DB の中身が初期化されて、しかも超速いというすごい gem です。 弊社でもヘビーユースさせていただいていたのですが、あるプロダクトの自動テストにおいて適切にデータが初期化されないケースがあり、 Flaky test の原因となっていました。 今回ご紹介する mysql_rewinder は、この問題を解決するために database_rewinder の代替を目指して開発した gem です。 使用例 Ruby on Rails / RSpec と組み合わせる場合、以下のように利用します。 RSpec.configure do |config| # MysqlRewinder の初期設定 config.before(:suite) do db_configs = A
Astro DBをAstro以外で使う
TL;DR Astro DBはDrizzle LibSQL(SQLite)互換 内部でAPIにSQLを送信している 仕組み上、Astroなしで無理矢理使うことができるがアンドキュメンテッドなのでお勧めしない Astro DBとは Astro DBはAstroが提供するフルマネージドなSQLデータベースです。Astro Studioというプラットフォームの一部で、Astroで構築するウェブサイトのバックエンドのDBとして利用できます。 ユースケースとしてはウェブサイトの問い合わせの保存先やコンテンツのマスターデータの管理などを想定していそうです 使い方は以下のドキュメントに載っています 静的なSSGでも動的なSSRでも使えます 以下のstudio-templatesリポジトリにサンプルプロジェクトがあります Astro DBのアーキテクチャ Astro DBはDrizzle ORMを拡張して
GitHub - kaspermarstal/plprql: Use PRQL in PostgreSQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - supabase-community/postgres_lsp: A Language Server for Postgres
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud SQLコネクタを使用した方法をお伝えします。 主な用途 データ確認: 開発中にCloud SQL内のデータを確認したい場合。 データ修正: 何らかの理由でCloud SQL内のデータを直接修正する必要がある場合。 データベースマイグレーション: Cloud Runなどのコンテナ環境からCloud SQLにデータを移行したい場合。 注意点 本番環境のデータベースに接続するため、操作は慎重に行ってください。 不要な時は接続を閉じること
⇦ 2024-04-03 Postgres Locks Explorer Details/sources Postgres table-level locking docs Postgres row-level locking docs django-pg-zero-downtime-migrations A more comprehensive list of queries with locks - at some point I may add these into this site All of the data in this page is derived from these tests, so is true by some definition of true. Notable is this test - given an arbitrary SQL statemen
pg_analytics: Transforming Postgres into a Fast OLAP Database - ParadeDB
We’re excited to introduce pg_analytics, an extension that accelerates the native analytical performance of any Postgres database1 by 94x. With pg_analytics installed, Postgres is 8x faster than Elasticsearch and nearly ties ClickHouse on analytical benchmarks2. Today, developers who store billions of data points in Postgres struggle with slow query times and poor data compression. Even with datab
RAG(Retrieval Augmented Generation)を用いたPostgreSQLアシスタントAIの試作 - Qiita
この記事はNTTコムウェア Advent Calendar 2023の4日目の記事です。 こんにちは、NTTコムウェアの平塚です。今月は2023冬 Chill Seasonで手に馴染むブキを探しているところです。 大規模言語モデルが持っていない最新情報や企業内情報を補うためのRAG(Retrieval Augmented Generation、検索拡張生成)というアーキテクチャーがあります。ごく簡単に説明すると、外部データベースを用意してそこで検索した結果を大規模言語モデルに説明させるというものです。以下はRAGのイメージ図です。 現在多くの企業さまがRAGの検証に取り組んでいるところかと思います。今回RAGを用いてPostgreSQLに詳しいアシスタントAIを試作したので、気づいたところをいくつ か共有いたします。 まとめ PostgreSQLアシスタントAIはある程度使えるものになりそ
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
BigQuery Studio は何者なのか
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery Studio です。BigQuery Studio の登場により、BigQuery 上で Python ノートブック環境が使えるようになりました。Duet AI によるコード補完もサポートしていますので、非エンジニアの方もデータ分析しやすい環境
高度なSQLをまとめてみる - Qiita
業務でSQL Alchemyを使うことになり、 今まで「SQLはGPTに書かせればいいだろう」と思い、 selectやwhereくらいしか覚えていなかったが今大変。 SQL Alchemy の前提 SQL Alchemyはデータベースとのやり取りを セッションで管理する Lv.1 全取得
# APITo see the full list of supported methods, see SelectQueryopen in new window. db.NewSelect(). With("cte_name", subquery). Model(&strct). Model(&slice). Column("col1", "col2"). // quotes column names ColumnExpr("col1, col2"). // arbitrary unsafe expression ColumnExpr("count(*)"). ColumnExpr("count(?)", bun.Ident("id")). ColumnExpr("(?) AS alias", subquery). ExcludeColumn("col1"). // all column
PostgreSQLのtimestamp with time zone型とGoのtime.Location | フューチャー技術ブログ
はじめにTIG真野です。育休明けです。 PostgreSQLには timestamp with time zone（timestamptz: 長いので以後こちらで表記します）型が存在します。一見、タイムゾーン付きで日時データを保持してくれそうな名称ですが、そうではないよという話をさせてください。 timestampz の仕様PostgreSQLのドキュメント 8.5.1.3. タイムスタンプ には以下のような仕様が書かれています。 timestampzの内部に格納されている値は UTC である 入力文字列にタイムゾーンが指定されていれば、そのタイムゾーンを元にUTCに変換され保持される timestampzの値を取得すると、UTCから現行のタイムゾーンに変換されて表示される 1,2 は timestamp with time zone という名称から、書き込み時のタイムゾーンも保持している
Aurora MySQL improves performance and failover recovery time when binlog is enabled
Amazon Aurora MySQL-Compatible Edition now supports a new, enhanced binary log (binlog). The enhanced binlog reduces the compute performance overhead caused by enabling binlog, which, in certain cases, can reach up to 50%, down to 13%. The enhanced binlog also improves database recovery time by up to 99% after restarts and failovers, as compared to when native MySQL binlog is enabled. One of the m
dalibo / transqlate · GitLab
transqlate transpile SQL snippet from a dialect to another using an AST
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. In the fast-moving open-source world, programs can come and go quickly; a tool that has many users today can easily be eclipsed by something better next week. Even i
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
Database schema migrations can be a double-edged sword. They are essential for keeping our systems up to date and in sync with evolving application requirements, but often come bundled with a set of challenges that can leave even the most seasoned developers and database administrators scratching their heads (or banging them on the keyboard). Breaking changes: One of the fundamental issues plaguin
The recent discussion about AIX support in PostgreSQL (as of now removed in PostgreSQL 17) led me to look through the project’s history, to learn what platforms we have supported when. In this context, “platform” really means operating system. One useful proxy is looking at the files in src/template/, because every supported platform needs to be listed there. There are other dimensions, such as wh
【インターンレポート】LINEの大規模ETL batch pipelineにおけるdbtの導入によるデータ分析での課題解決の検証
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、早稲田大学政治経済学経済学科 学部3年の滝田愛澄と申します。2023年8月7日から6週間、LINE株式会社のIU Data Connectチームにて、就業型インターンシップに参加させていただきました。本インターンでは、LINEの大規模ETL batch pipelineであるVinitusが現在抱えている課題を解決することを目的に、data build tool (dbt) の調査とdbtを用いた新たなworkflowのプロトタイプの設計・実装に取り組みました。このレポートでは、現在のVinitusが抱えている課題を確認し、dbtの導入によってどのようにそれらの課題を解決できるか、具体的にこのプロトタイプでは何をど
『データ分析のためのSQL勉強会〜実践編〜』資料公開｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
はじめにこんにちは。高橋です。本業はコンサルとしてデータ分析を活用したデジタルマーケティング支援などをしており、副業ではデータ分析支援やデータ分析コーチングなどもやっております。 以前noteで『データ分析のためのSQL勉強会』資料を公開しました。 そこからさらにデータ分析で使うSQLを学びたいビジネスパーソン向けの書籍も出版して、より体系的にデータ分析で使うSQLを学ぶ教材をまとめました。
Photo by Mariia Shalabaieva on UnsplashBackgroundAllowing non-technical users to ask questions from a database has been a problem of interest in academia and industry for years. The recent advances in Large Language Model (LLM) technology, such as GPT-4, have improved the accuracy of proposed solutions. However, since the most advanced LLMs have not been open for fine-tuning, recent work in the sp
パスワードがペッパー付きハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題 - Qiita
この記事は「パスワードがハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題 - Qiita」の続編です。 前回までのあらすじ SQLインジェクションによる影響として、認証回避の例がよく紹介されます。よくある「'OR'a'='a」を入力するパターンはよく見かけるところですが、パスワードがハッシュ値で保存されているケースについても認証回避が可能なケースがあることを示しました（参考:解答編）。 パスワードがペッパー付きハッシュ値で保存されているとどうなる? 今どきはパスワードはソルト付きハッシュ値で保存することが常識になっていますが、加えて「ペッパー（pepper）」というものを付加した方がよいという流れになってきています。ソルトがユーザー毎に異なる文字列であるためにハッシュ値とセットで保存するのに対して、ペッパーは固定値であるもののデータベースとは別の安全な場所に
“Integrated @powersync_ into an experimental branch of @HabitKit. Setup was pretty easy and fast. Really love the developer experience and I'm amazed how good it works 🤩”
Why SELECT COUNT(*) FROM TABLE Is Sometimes Very Slow in MySQL or MariaDB
If you have enough experience with MySQL, it is very possible that you stumbled upon an unusually slow SELECT COUNT(*) FROM TABLE; query execution, at least occasionally. Recently, I had a chance to investigate some of these cases closer, and it stunned me what huge differences there can be depending on the circumstance given the very same table. As the problem turned out to be much more complex t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「MySQL 8.1」が公開、リリースモデルをイノベーション＆長期サポートの2本立てに再編／オープンソースのデータベースサーバー
Ktorm のクラス設計を読み解いて、DSLを拡張する - ドワンゴ教育サービス開発者ブログ
UPDATE IN SELECT によるデッドロックが発生しなくなった件
「PostgreSQL 16」が正式リリース ～オープンソースのリレーショナルデータベース／パフォーマンスの向上、SQL/JSON構文の拡充、桁区切り・整数リテラルの導入など
IPS液晶を内蔵し、さまざまなマクロを一押しで実行できるボタン
ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy
leontrolski - Postgres locks
14 tools and gems every Ruby developer would love
Athena で S3 と MySQL を JOIN する | DevelopersIO
Golang Select Query [PostgreSQL MySQL]
PostgreSQL reconsiders its process-based model [LWN.net]
Introducing pgroll: zero-downtime, reversible, schema migrations for Postgres
PostgreSQL supported platforms over time
Fine-tuning GPT-3.5-Turbo for Natural Language to SQL
PowerSync: Drop-in sync layer for offline-first apps