Palo Alto Networksは7月20日（米国時間）、「Threat Group Assessment: Mallox Ransomware」においてMicrosoft Windowsを標的とするMalloxランサムウェアの活動が増加しているとして、注意を呼び掛けた。 Threat Group Assessment: Mallox Ransomware Palo Alto Networks Unit42の研究者は、Mallox(別名TargetCompany、FARGO、Tohnichi)ランサムウェアの活動が前年と比較してほぼ174%増加したことを確認したと報じた。 Malloxは2021年6月に活動が確認されており、攻撃対象への侵入経路として脆弱なMicrosoft SQL Serverを悪用することが知られている。Malloxは2021年の出現以来、同じ攻撃手法が取られており
Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, Engineering Writing queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」でプロダクトマネージャーを担当している原田と申します。 「ビズリーチ」は、採用企業様、ヘッドハンター様、求職者様それぞれに特化した機能を提供しています。私はこのうち採用企業様向けの領域を担当しております。 この記事では、採用企業様向け領域において、機能、利用者、データ等の急速な拡大に比して顕在化する「表示速度・処理速度上の問題」を解決するために、クロスファンクショナルなチームが協力しあい、本質的な課題に優先度をつけ、大きな改善を果たしたプロセスをご紹介します。 背景 | 「表示速度」の課題 「ビズリーチ」は累計27,000社以上の企業様に導入いただいており（2023年10月末時点）、急成長を続けています。 これに伴い、データ量の増加とシステムの負荷が増大しており、お客様からのフィードバックと自らが利用した経験を通じて、この「表示速度が遅い」と
皆さんがWeb APIを設計する時によく使うフォーマットにJSONがあります。他サービスとやり取りする際に、従来であればJSONの解析を行い、正規化を行い、必要なキーとバリューを取得し保存するという方法が一般的でした。 今回は、MySQL 5.7からサポートが強化されているJSONを活用する方法を紹介していきたいと思います。 検証環境 今回はdockerで建てたMySQLを使用します。以下のコマンドでdockerを建てて、ローカルからアクセスをします。 % docker run --platform linux/x86_64 -p 3307:3306 -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:latest アクセス方法は以下の通りになります。 % mysql -uroot -pmy-secret-pw -h127.0.0.1 -P3307 執
はじめに はじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成 各種データ基盤に向けたデータ変換の手続きの抽象化 生成された SQL に基づくデータ変換の手続きの実行 さいごに DRE&MLOps チームの hyamamoto です。 最近は涼しくなってきて、秋の気配が感じられるようになってきましたね。 秋は一番好きな季節なので嬉しいです。 さて、今回は dbt について少し変わった切り口で紹介します。 今回の紹介において主眼に置きたいことは以下の内容です。 dbt はそもそもツールとして何を行なうか dbt は技術的にどのようにしてその機能を実現しているか その機能の結果 dbt はアプリケーショ
【RailsサービスのMySQL5.7 -> 8移行: 前編】MySQLのcollation周りの話 - hacomono TECH BLOG
この記事は、hacomono Advent Calender 2023の20日目の記事です。 はじめに こんにちは、プラットフォームチーム所属のまこたすです。 この記事は主にMySQL5.7,MySQL8.0のcollation周りの挙動の違いについて書いています。AWS RDS MySQL5.7がEOLを迎える今、一番話したい内容はRails x MySQL5.7環境からRails x MySQL8.0環境へ移行する際にハマった話とそこからみる気をつけるべき観点という話題ではあるのですが、前提の話が長いので記事を２つに分けてお伝えします。今回はRailsの話は触れず、MySQLのcollation周りの話のみをします。 この記事で書くこと MySQL5.7, MySQL8.0でのサーバー, データベース, テーブルのcollationの決まり方とSHOW CREATE (TABLE|DA
Want to extract specific data in Google Sheets? Here's how to use the QUERY function to filter, sort, and summarize data in your spreadsheets. Google Sheets offers a wide range of functions to help streamline the data analysis process. One particularly useful function is the QUERY function, which allows you to extract specific information from your spreadsheet based on specified criteria or condit
MySQL の Online DDL について検証しつつ備忘録としてまとめておきます。 (本記事の検証は、MySQL 5.7.40 で実施しています。) mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.40 | +-----------+ 1 row in set (0.02 sec) Online DDLとは MySQL 5.7 Reference Manual - 14.13 InnoDB and Online DDL Online DDL の機能によって、インデックスの作成などの DDL を実行している最中に INSERT , UPDATEなどの DML が実行できるようになっています。 MySQL 5.5 以前での ALTER TABLE は下記のような制限があったようです。 ALTE
これで1レコード（行）分です。 数レコードならデータベース上で手打ちでも問題ないのですが、何万レコードとなると発狂します。 腱鞘炎になっちゃう。。業務とはいえ、たまに投げ出したくなる INSERT文の生成方法 ここからが本題です。 何万レコードを手打ちはさすがに現実的ではないので、私はExcelとメモ帳を駆使しINSERT文を作っています。 ■ Excel まずはINSERT文生成用のExcelフォーマットを用意する必要があるので、構成からご説明いたします。 ▼ 全体 スキーマ名.テーブル名、カラム名を関数で取得し、INSERT文に自動反映されるようにしています。 ▼ 値を直接入力 F8~H10 ▼ スキーマ名.テーブル名、カラム名を取得 C2：スキーマ名 C3：テーブル名 C4：=C2&"."&C3 F7~：カラム名 ▼ INSERT文に各カラム名を取得 E列： ▼ 最後の値に閉じ括弧+
はじめに 前回の記事では、画像の dHash をビット配列としてデータベース PostgreSQL に登録し、 SQL で類似画像を取得しました また、以前の記事で画像内の顔特徴量をベクトルデータベース Pinecone に登録し、似ている顔を取得しました さらに、 PostgreSQL は拡張機能 pgvector によってベクトル型を扱うことができます というわけで、これらの組み合わせを Livebook で実装します 対象となる画像から evision で顔を検出し、顔の特徴量を取得する 顔の特徴量をベクトルとして PostgreSQL に登録する SQL で似ている顔の組み合わせを取得する Livebook と PostgreSQL をコンテナで立ち上げる手順については以下の記事を参考にしてください データベース操作には Ecto を使用します Livebook 上での Ecto
PostgreSQL(pgvector) のベクトル検索による全自動PDF検索 : Blob Storage にアップロードしPDFをテキストに変換 - Qiita
PostgreSQL(pgvector) のベクトル検索による全自動PDF検索 : Blob Storage にアップロードしPDFをテキストに変換JavaPostgreSQLAdaOpenAIembedding 1. はじめに 先日、Azure OpenAI Embedding モデルを利用し最も関連性の高いドキュメントを見つける方法 について説明しました。これを利用する事で、最も関連性の高いドキュメントを見つける事ができます。 この記事では、この機能を利用し PDF ファイルを Azure Blob Storage にアップロードすると、自動的に PDF ファイルをテキストに変換し、Azure OpenAI Embedding モデルを利用して、ベクトル検索を行う方法について説明します。 このサービスを利用すると、社内ドキュメントも、各種論文も PDF ファイルであれば何でも、Azur
MySQL8.0.27や8.0.28あたりのmemory/innodb/hash0hashやut0new.hなどの話 | GREE Engineering
こんにちわ。せじまです。 先日、プライベートで新しいPCを買ったので試しにVisual Studio 2022(version 17.7.2)でMySQL8.0.34をデバッグビルドしようと思ったら、sql_main がC2678でビルドできなくなってました（2023-08-29時点）。 Hyper-V上でen_USなWindows11開発環境を立ち上げて試してもC2678が発生したので、日本語版のWindowsに限った問題でもなさそうな気がします。 https://developercommunity.visualstudio.com/ を見ると、コンパイラ周りで "Fixed - Pending Release" な件がいくつか見受けられたので、しばらく様子見しようかなと思っています。 MySQL8.1.0や8.0.34をデバッグビルドする話を書こうかと思っていたのですが、今回は別の話
ビジネスとコード品質の接合点 そしてコード品質がそこに及ぼす影響 / The Intersections of Business and Engineering, and The Impact of Code Quality There
※この記事はMySQL Advent Calendar 2023の4日目です。 MySQL 8.0シリーズでは正式版になってから多数の新機能が追加されるというリリースモデルであった。正式版になってから追加された新機能の中に、GIPK（Generated Invisible Primary Key）というものがある。これはなんとMySQL 8.0.30で追加された機能だ。MySQL 8.0が正式版になってから、なんと4年と3ヶ月後のことである。そんな感じでMySQL 8.0の新機能は正式リリース後にも増え続け、途方もない規模になっている。このブログでは一度に紹介するのは諦め、少しずつ気の向いたものから紹介していこうと思う。今回はその第一弾として、GIPKについて解説しよう。 GIPKとは GIPKとは、その名前が示すように、自動的に生成される不可視の主キーである。主キーを持たないテーブルに対
何もわからないまま使うのは危険です！！！ いきなりこんなことをかいてしまいましたが、皆さん、MySQLを安全に使ってますか？ 特に金融とか顧客情報とか扱うとこ！あとDBの障害対応めんどくさいな〜ってなってる人も必見です！ MySQLをクラウドでmanagaedなもの(CloudSQLとか、RDSとか)使っている方もいれば、self hostedなサーバを利用している方もいらっしゃるかと思います。 どちらにおいても、必ずこの内容は抑えておかないと危険かもしれないですよという、注意喚起的な記事です。 つまり、マネージドなRDBMSとしてMySQL使ってるあなたも、知っておくべきということです。 RDS を使っているあなたも、 CloudSQLを使っているあなたも、ぜひ読んで確認してください。 InnoDB、ちゃんと気にしていますか？ MySQLを使っていますか？と書き始めましたが、この記事の中
今までのインデックスについての自分の理解が、「インデックスを作ると検索スピードが上がる」くらいの理解でした。これではいけないと思い、ようやく真面目に勉強したのでそれをまとめるついでにクイズ形式にしてみました。 インデックスとは データベースにおけるインデックスは、データの検索速度を向上させるための機能です。一般的に、テーブル内のデータの特定の列に対して作成され、その列の値に基づいてデータにアクセスする際の効率を高めます。 よくある例でインデックスは本でいう索引に当たります。見たい項目を索引で探し、何ページかを確認してそのページを開けば一枚一枚ページをめくって探すより効率的に目当てのページに辿り着けますよね。 それをデータベースでも同じことをしているというイメージです。 第一問 以下 SQL 文でインデックスが使用される検索はいくつあるでしょうか？
データベース 技術顧問 @mita2 FYI: MySQL の SQL クエリチューニングの要所を掴む勉強会を開催しました！ - ANDPAD Tech Blog
trilogy を調査したら Active Record が抱える問題にまで辿り着いた - Money Forward Developers Blog
はじめに あけましておめでとうございます。k0iです。 皆さんは年末年始、いかがお過ごしでしたでしょうか。 私は久しぶりに会った高校の友達と飲んで帰省の列車に乗り遅れ、更にスマホを落として壊してしまい中々痺れる年越しとなりました。 2024年も良い年になると良いですね.....! さて、Rails 7.1 で trilogy という MySQL 互換の Database Adapter が追加されました。 しかし我々はすでに MySQL 互換の Database Adapter として mysql2 を使っています。 一体なぜ新しい Adapter が必要なのか。trilogy は何を解決するために開発されたのか。 気になりませんか?(なりますよね?) そこで、trilogy について開発の背景や、採用すると何が嬉しいのかを調査してみました。 タイトルにもある通り、調査の過程で Activ
【Golang】Azure OpenAI で Embedding したベクトルを使って、自前検索エンジンを作ろう
この記事は、Azure Advent Calendar 2023 の 10 日目の記事です。🎄 はじめに Azure OpenAI Service では、 text-embedding-ada-002 というモデルを使って、文章を 1536 次元のベクトルに Embedding できます。 また、PostgreSQL では、 pgvector という拡張機能を使って、ベクトルを保存・検索機能を導入できます。 今回はこれらを組み合わせて、Azure OpenAI で Embedding したベクトルを Golang のアプリケーションから PostgreSQL に保存し、類似度検索する方法を紹介します。 pgvector とは pgvector は、PostgreSQL にベクトルデータを保存・検索する機能を追加する拡張機能です。 ベクトルデータを保存するためのデータ型と、ベクトルデータを
I’ve quietly resolved performance issues by re-writing slow queries to avoid DISTINCT. Often, the DISTINCT is there only to serve as a “join-fixer,” and I can explain what that means using an example. Let’s say we have the following grossly simplified schema, representing customers, products, and product categories:
2023/12/14「データ基盤×LLM」勉強会にて発表 https://forkwell.connpass.com/event/302234/
MySQL Shellは、本連載でも何度か取り上げられているmysqlコマンドラインクライアントと同等以上の機能を提供してくれるクライアントです。MySQL ShellはMySQL 5.7がGAになった5.7.12から使用できるようになっています。 今回は、MySQL Shellを使ったMySQLへの接続方法に関して説明していきたいと思います。 検証環境 今回はDockerで建てたMySQLを使用します。以下のコマンドでDockerを建てて、ローカルからアクセスをします。 % docker run --platform linux/x86_64 -p 127.0.0.1:3307:3306 -e MYSQL_ROOT_PASSWORD=my-secret-pw -e MYSQL_USER=kk2170 -e MYSQL_PASSWORD=my-secret-pw -d mysql:8.0.
dbtCloudから作成したPullRequestにコンパイル済みSQLをコメントする仕組みを作成した話 - Timee Product Team Blog
こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、コンパイル済みのSQLをPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていただければ幸いです 課題感 今回選択した解決策 背景/前提 実装概要 各ステップの説明 PRの情報をもとにprofiles.ymlの動的生成 コンパイル処理の実施 PR上にコメント どんなふうに動くかみてみる 結果 We’re Hiring! 課題感 弊社のデータ基盤ではDWH層DataMart層は「分析用に加工されたデータを扱う層」として定義しています。 各種ドメインに依存した集計や変換のロジックが含まれるため、この層
Years ago I wrote about my trouble with a job queue in Postgres, in which table bloat caused by long-running queries slowed down the workers’ capacity to lock jobs as they hunted across millions of dead tuples trying to find a live one. A job queue in a database can have sharp edges, but I’d understated in that writeup the benefits that came with it. When used well, transactions and background job
Rettyプロダクトマネージャーの松田です。 プロダクトの現状把握や施策効果の分析など、さまざまなタイミングでBigQueryのSQLを書くことがあります。 Rettyでは昨年末にGitHub Copilotを導入したので、それに合わせてSQLの作成にもGitHub Copilotを使い始めました。 使いたいテーブルが偏っていたりテーブルの設計が似ているものが多く毎回同じようなクエリを書いていましたが、GitHub Copilotの導入で体感としては半分ぐらいに作業時間を短縮できたと思います。 まだまだ不十分だと感じることもありますが、現時点でも十分に活用できているので、GitHub Copilotで楽にSQLを書くときのコツをいくつかまとめてみました。 ※Visual Studio Codeと組み合わせて使う前提で書いています。（導入方法が公式から出ています） 1. GitHub Cop
Amazon Linux 2023からRDS MySQLに接続するときにMariaDBを使う方法 | DevelopersIO
こんにちは。CX事業本部Delivery部のakkyです。 以前、Amazon Linux 2023でMySQL Clientを使う記事を掲載しました。 多くの方にご覧いただいていますが、この方法で注意していただきたい点として、MySQLはAmazon Linux 2023のリポジトリ外のパッケージとなるため、AWSからのサポートが得られないということがあります。 AWSでは、RDS MySQLへの接続にはMariaDBを使用することをドキュメントで案内しています。 MariaDBは、クライアントプロトコルに関してはMySQLと互換性があることがドキュメントに記載されています。 また、認証プラグインに関しても、クライアント側でSHA-256がサポートされていますので、MySQL8.0への接続も問題ありません。 インストール方法 次のコマンドでインストールできます。 sudo dnf -y
Exploring Postgres VACUUM with the VACUUM Simulator
VACUUM Simulatorを使ってVACUUMをもっと理解しよう Exploring Postgres VACUUM with the VACUUM Simulator PostgreSQL Conference Japan 2023 November 24, 2023
PostgreSQL と MySQL の比較 - リレーショナルデータベース管理システム (RDBMS) の違い - AWS
MySQL は、データを行と列を含むテーブルとして保存できるリレーショナルデータベース管理システムです。多くのウェブアプリケーション、動的な Web サイト、組み込みシステムを支える人気のシステムです。PostgreSQL は MySQL よりも多くの機能を提供するオブジェクトリレーショナルデータベース管理システムです。これにより、データ型、スケーラビリティ、同時実行性、およびデータ整合性がより柔軟になります。 MySQL について読む » PostgreSQL について読む » PostgreSQL と MySQL はどちらもリレーショナルデータベース管理システムです。これらは、共通の列値を介して相互に関連するテーブルにデータを格納します。例を示します。 ある会社では、顧客データを Customers という名前のテーブルに customer_id、customer_name、custo
概要 こんにちは。 さくらインターネット株式会社 クラウド事業本部 SRE室の菅原大和(@drumato)です。 本記事では、先日｢さくらのクラウド Labプロダクト｣としてリリースされた、｢エンハンスドデータベース｣のMariaDB版について、その背景や目的、設計や仕組みについてかんたんに紹介します。また後半では、SREsの私が現段階の運用をどう改善し、どう今後の方針を組み立てているのかについて共有します。 リリース内容についてはこちらのニュースページをご覧ください。 https://cloud-news.sakura.ad.jp/2023/05/18/enhanceddb-mariadb-lab-release/ 本記事全体を通して、MariaDB版エンハンスドデータベースの利用方法等については解説しません。よろしければ以下の公式マニュアルをご覧ください。 https://manual
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
稼働中の Amazon Aurora PostgreSQL を暗号化した話 | MEDLEY Developer Portal
2023-12-22稼働中の Amazon Aurora PostgreSQL を暗号化した話はじめにこんにちは。 プロダクト開発室第二開発グループ所属の古川です。 私は 22 年新卒としてメドレーに入社し、現在はインフラとアプリケーションを 5 : 5 の割合ぐらいで開発・運用・保守などを行っています。 学生時代からインフラ周りに触る機会も多く、入社前に AWS Certified Solutions Architect - Professional を取得しました。 大のコーヒ好きで自宅で生豆から焙煎をし、毎朝豆を挽き、抽出したコーヒーを飲むことが日々の幸せです。 好きなコーヒー豆の種類は インドネシア・スマトラ島産・アラビカ種のマンデリン( G1 )の中深煎りです。 さて、今回の記事では私が携わっているプロダクトで運用している Amazon Aurora（以下 Aurora ）を暗号
【EOL間近】Amazon RDS for MySQL 5.7の標準サポート終了とバージョンアップ前の影響確認について - ForgeVision Engineer Blog
こんにちは。フォージビジョンの藤川と申します。 2023年9月初めに、AWSよりAmazon RDS for MySQL 5.7の標準サポート終了に関する内容と延長サポートに関する内容の通知がありました。以下は、2023/9/13時点のAWS公式サイトの情報です。 メール本文にも記載がありましたが、各々の情報は以下のAWS公式サイトに記載があります。 Amazon RDS for MySQL 5.7の標準サポート終了 2023/9/13時点では、表示言語を英語にすることで、標準サポート終了日の最新の情報や延長サポートの内容を確認することができました。 docs.aws.amazon.com Amazon AuroraとAmazon RDSがMySQLとPostgreSQLデータベースの延長サポートを発表 aws.amazon.com データベースのメジャーバージョンのアップデートについては
Upgrade to Amazon Aurora MySQL version 3 (with MySQL 8.0 compatibility) | Amazon Web Services
AWS Database Blog Upgrade to Amazon Aurora MySQL version 3 (with MySQL 8.0 compatibility) Amazon Aurora MySQL-Compatible Edition version 3 (with MySQL 8.0 compatibility) is the most current major version supported on Amazon Aurora MySQL. You can use Amazon Aurora MySQL version 3 to get the latest MySQL-compatible features and performance improvements. MySQL 8.0 introduces several new features, inc
データベースにおけるポリモーフィックは、子テーブルが複数ある親テーブルのうちどれか 1 つと関連することです。 この記事では、 images が users と posts のどちらかを親テーブルとして持つポリモーフィック関連を例に話を進めていきます。 データベースから見た問題点 ポリモーフィックの 1 番の問題としてテーブル間の関連がなくなることが挙げられます。これは外部キーを設定することができないからです。 外部キーは 2 つのテーブルを関連づけるキーですが、ポリモーフィックの子テーブルでは、行ごとに関連づけられる親テーブルが変わるために外部キーを一意に設定できません。 これにより以下の問題が発生します。 参照整合性がなくなる 外部キーを設定できないので、データベース上では参照整合性を保証できません。 そのためアプリケーションコードで制御する必要があります。 参照整合性 関連づけられて
How we migrated our PostgreSQL database with 11 seconds downtime – Government Digital Service
GOV.UK Notify is hosted on the GOV.UK Platform as a Service (PaaS). The PaaS is being retired, so we are migrating all of our infrastructure into our own Amazon Web Services (AWS) account. This blog post explains how we migrated our PostgreSQL database with minimal downtime. Migrating our database The PaaS provides a database for us and we use it to store all of our data - from data about each not
アノテーション、Postgre 大好き村上です。2024 年もテクサポと学ぶ PostgreSQL シリーズをよろしくお願いいたします。 シリーズ第 2 回目 テクサポと学ぶ PostgreSQL #2 ユーザー(1) では、デフォルトユーザー postgres に対して PostgreSQL ログイン時のパスワードを設定しました。シリーズ第 3 回目は、デフォルトユーザー以外のユーザーを作成してログイン属性を変更してみます。 本シリーズでしていくこと PostgreSQL に対しての基本的な知識を確認しながら、時には EC2 上にインストールした PostgreSQL 15 において DDL や DML 等のコマンドを実行して動作確認をしていきます。 また、業務で RDS for PostgreSQL や Aurora PostgreSQL に対してのお問い合わせに対応しているので、設定
2015年10月にリリースされたMySQL 5.7はJSONデータ型やマルチソースレプリケーションなどの新機能が追加されたほか、InnoDBのバッファプールサイズのオンラインでの変更や全文検索のサポート、運用関連ではsyslogやDTraceのサポートなど多数の改良が行われたバージョンでした。2023年10月にマイナーバージョンや新規パッチがリリースされなくなるSustaining Supportのフェーズに移行します。 このウェビナーでは改めてMySQL 5.7からMySQL 8.0へのバージョンアップ手順や注意点などを解説します。
RLSではじめるマルチテナントSaaS
こんにちは！Nstockのじゃがです。 NstockではマルチテナントSaaSを開発しており、テナント間のデータ分離にRow-Level Security（RLS）を利用しています。本記事ではRLSの基本から、Nstockでの利用イメージまで、SQL文やアプリケーションコードを交えて解説します。 備考 アプリケーションの実装イメージはSpring Bootですが、多くのフレームワークに存在する機能を利用しています PostgreSQLのRLSについて話しています マルチテナントアーキテクチャとRLS Nstockは初期フェーズであり、人的リソースや金銭的リソースに余裕がありません。テナントごとに異なるDBサーバーやスキーマを用意するアーキテクチャは、リソース的に厳しいです。そのため、複数のテナントでDBサーバーを共有しつつ、 tenant_id カラムを用いてテナント間のデータを分離するこ
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみた - Qiita
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみたPostgreSQLlangchainLLMVectorStorepgvector 生成AIを企業が使う場合、社内データを使った回答を得るにはファインチューニング、もしくは Retrieval-Augmented Generation (RAG、検索拡張生成) を行う必要があります。 企業では毎日データが更新される中で、ファインチューニングを頻繁に行うのはコスト高で現実的ではありません。 そこでRAGを使った方法が注目されています。 ということで、今回は以下の組み合わせでRAGを試してみました。 生成AI: Cohere Command Vector Database: PostgreSQL (pgvector) 生成AIとVector Databaseの連携: La
この記事は何？ トランザクション分離レベルがRead CommittedなときのMVCCの挙動とトランザクション内における集計で学びがあったので忘備録として共有します。 そもそも、MVCCとは？ MVCC（Multi-Version Concurrency Control）は、各トランザクションに一意なバージョンを付与する技術です。データへの同時アクセスが行われた際、各トランザクションが独自のデータバージョンを持つことで、データへの競合を回避させ、並列処理を実現します。このアプローチにより、読み取りと書き込みの操作が相互にブロックされず、システム全体の効率とパフォーマンスが向上します。 Read Committedのトランザクション分離レベルにおけるMVCCの特性は、トランザクション内でデータを読み取る際、そのトランザクションが開始された時点でのコミット済みのデータのみを参照できることです
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft SQL Server経由で侵入するランサムウェアが増加、要注意
How we built Text-to-SQL at Pinterest
職能を越えた連携で「目先の数字に囚われないSQLチューニング」を実現する
第197回 MySQLでJSONを活用してみる［その1］ | gihyo.jp
根っこから理解を深める dbt - Gunosyデータ分析ブログ
How to Use the QUERY Function in Google Sheets
MySQL の Online DDL の挙動をローカルで検証して理解する
【SQL】膨大なINSERT文をとにかく楽して生成したい - Qiita
顔を PostgreSQL に登録して SQL で似ている顔（同一人物）を探す - Qiita
データ分析のためのSQL勉強会 〜実践編〜
GIPKことはじめ - Generated Invisible Primary Keys
【超危険】【クラウドも】そのMySQLパラメータ設定、やべ〜〜〜〜かも - Qiita
クイズ形式で学ぶ DB インデックス - Qiita
MySQL の SQL クエリチューニングの要所を掴む勉強会
Don't use DISTINCT as a "join-fixer" - Simple Talk
1日50万件貯まるクエリのログを活かして、SQLの生成に挑戦している話
第214回 MySQL ShellでMySQLに接続してみる | gihyo.jp
River: a Fast, Robust Job Queue for Go + Postgres
GitHub Copilotで効率的にSQLを書くコツ - Retty Tech Blog
マネージドMariaDBサービスの設計と仕組みについて | さくらのナレッジ
ユーザーの質問からSQLクエリを生成するPython RAGフレームワーク「Vanna 0.0.31」がリリース
ORM のポリモーフィック関連は使うべきか？
テクサポと学ぶ PostgreSQL #3 ユーザー(2) | DevelopersIO
MySQL 5.7からMySQL 8.0へのバージョンアップ - MySQLを継続してお使いいただくために
MySQLのMVCCとトランザクション内における集計について