Happy New Year: GPT in 500 lines of SQL - EXPLAIN EXTENDED
Translations: Russian This year, the talk of the town was AI and how it can do everything for you. I like it when someone or something does everything for me. To this end, I decided to ask ChatGPT to write my New Year's post: "Hey ChatGPT. Can you implement a large language model in SQL?" "No, SQL is not suitable for implementing large language models. SQL is a language for managing and querying d
日比谷のクラスメソッド社さん会場に100名以上が集結するオフラインイベントです！ ※リアルタイムの走り書きのため、誤り等あればお知らせください🙏 KEYNOTE / Alex Debrie (AWS Data Hero) 有名なDynamoDB Bookを執筆された方です！ サーバーレスの歴史 オンプレミス〜EC2の登場〜Lambda登場の変遷 Herokuから始まった12-Factor Appの話 イベントドリブン： SQS, S3, SNS, そしてDynamoDBの登場 DynamoDBの登場 DynamoDBが早くから人気を得た理由： サーバーレスと相性がいい VPCが不要、接続上限なし、IaCと高速プロビジョン、メンテウィンドウなし これがRDSだったら…ほとんど実現できない！ フルマネージド、マルチテナンシー！ サーバーレスの今、これから AWS以外のサーバーレスサービスの台
はじめに 去年の6月に入社して、1年たったので転職から1年間やってきたことを振り返りたいと思います。 自分は運がよかっただけなのかもしれませんが、未経験のころに抱いていた未経験エンジニア転職と違ったので、これからエンジニア目指す未経験の方の1つの事例としてケーススタディになればと思います。 転職が決まった！ 転職が決まった時、エンジニアの友人と喜び合ったのを今でも覚えています。 私「転職きまったよ～」 友人「おーおめでとう」 私「フルリモートで未経験は1年研修があるらしいよ～」 友人「研修長くない！？有給プログラミングスクールじゃん」 私「提示年収これぐらいだった。1日7時半労働らしいよ～」 友人「！？」 ～4か月後～ 私「フルフレックスになった～」 友人「ファッ！？」 実際、今年の4月半ばごろまで研修をやっていました。(10ヶ月半ぐらい) 最初、「あ～これは、実際は3ヶ月ぐらい研修で現場
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？［PR］
メルカリの本番環境で流れているクエリを使って、MySQL互換のTiDB Cloudを評価。40TBを越えるDBの大規模トラフィックに耐えられたか？［PR］ 国内最大級のフリマアプリ「メルカリ」のバックエンドデータベースは、50台以上のMySQLサーバがオンプレミスのデータセンターで稼働しており、40TBを越えるデータサイズのデータベースを保持していると、2023年12月に都内で開催されたイベント「db tech showcase 2023 Tokyo」のセッションで、同社のDBRE（Database Reliability Engineer）を務める本田恭氏が明らかにしました。 そしてそのデータベースの規模の大きさゆえにいくつかの課題もあるため、新たなデータベースの候補として、MySQL互換でNewSQLの代表的なデータベースサービスである「TiDB Cloud」をPoC（Proof of
go-mysql-driverに来たバグ報告を調べていたら、 database/sql.RawBytes の利用方法にハマるとデバッグの難しい落とし穴があったのを見つけたので、Go側のバグとは断言できないもののGo側で直すべきだと報告しました。他の人がハマらないように簡単に解説しておきます。 github.com RawBytesはtype RawBytes []byteのように宣言されていて、[]byteのように扱える。[]byteとの違いは、利用可能期間が短くてrows.Scan(&in)からrows.Next()かrows.Close()までの間にしか使えないという制約があることだ。 rows.Next()が呼ばれた時、ドライバーは受信バッファの中の文字列等のデータを浅い(shallow)コピーで返すことができる。そのデータは次にrows.Scan()が呼ばれた時に使われるのだが、S
こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用技術 S3 Athena Glue GlueETLは費用の面で使わず他のサービスを組み合わせる形で内製 Firehose Lambda(Python) Codebuild Step Functions / EventBridge ECS on Embulk
MySQLのREPEATABLE READとREAD COMMITTEDのロック状況をdata_locksから観察する - $shibayu36->blog;
前回MySQLのREPEATABLE READとREAD COMMITTEDの違いを知るために色々試した - $shibayu36->blog;という記事を書いたところ、yoku0825さんにMySQL 8.0以降だとperformance_schema.data_locksが使えると教えてもらったので試した。 ちなみに、後ろからロックがぶつかるクエリを実行しなくても、MySQL 8.0だとSELECT * FROM performance_schema.data_locksでロックの範囲を確かめることができます。 ギャップつきロックがInnoDBのスタンダードで、X lockがレコードとギャップのロック、X not gapが単なるレコードロックになります— yoku0825 (@yoku0825) February 27, 2024 テーブル定義 CREATE TABLE `posts`
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
Kysely | Kysely
Type-safe SQL queriesKysely let's you write type-safe SQL queries. This eliminates entire classes of errors and let's you sleep peacefully at night. No magic, just SQLKysely is a light abstraction layer over SQL. This makes it easy to reason about performance, and reduces the amount of concepts you need to learn to be proficient with the library. Great autocompletionBy exposing your database schem
https://mysql-unconference.connpass.com/event/310279/ https://amamanamam.hatenablog.com/entry/2024/02/11/005331
Fixing bug 109595 makes MySQL almost 4X faster on the Insert Benchmark
MySQL 8.0.35 includes a fix for bug 109595 and with that fix the QPS is almost 4X larger on the read+write benchmark steps compared to MySQL 8.0.34. Thank you to MySQL for fixing this quickly. I reported the bug in January of 2023. I have been aware of the performance problem for years, but didn't spend time debugging it until this year. I assume this problem was limited to InnoDB because I did no
データ型とは何か？ データ型とは、データベース上のお約束のようなものです。 0.01と見て人間は「あ、小数だな。」と認識できるわけですが、 パソコンやデータベースはそんなにお利口じゃないです。 ですから、あらかじめデータベースの格納する箱に、 ここに入っていいのは少数ですよ、文字列ですよ。と宣言しておく必要があるんです。 他のプログラミング言語でいうと、C言語や、javaなんかも 変数を宣言するときに、どんなデータ型ですよと指定する必要があります。 ちょっと特殊なのがpythonで、 pythonの場合は、変数を定義するときに、データ型を指定する必要がなく、 代入されたデータによってデータ型が自動で決まるというシステムを採用しています。 ただし、これは特殊な例なので、基本的にはこのお約束が必要と思ってもらって 間違いないです。 MySQLにおけるデータ型について。 MySQLのデータ型に関
Amazon RDS の延長サポートの取り扱い方針が変更となりました - サーバーワークスエンジニアブログ
みなさん、こんにちは。AWS CLI が好きなテクニカルサポート課の市野です。 先日まで、主に RDS for MySQL 5.7 系の EOS に際し、RDS 延長サポートのご案内をしておりましたが、公式ブログ、および、公式ドキュメントに更新があり、取り扱い方針が大きく変更となりましたので、あらためてブログ記事として投稿いたします。 私が執筆した以下のブログは内容が古くなっており、本記事の内容が最新であるため、本記事に転送しています。 Amazon RDS for MySQL での MySQL 5.7 系の終了と延長サポートの取り扱いについて 【続報】Amazon RDS for MySQL での MySQL 5.7 系の終了と延長サポートの取り扱いについて また、本エントリ執筆時（2023年12月26日）以降、AWS からの新たな公式発表があれば、すべて公式案内を優先いたします。 ご利
営業の安請け合いってこれかぁ
弊社のサービスの内部的に使われているMySQLという言葉をどこかで見聞きしたんだろうね 「御社の社員データがMySQLに入っていると、それを手入力やWebAPIを用いてやるのは難しいと。MySQLは弊社でも使っておりますので、御社のMySQLを受け取れますので、社員データ連携はご心配なさらずに」 ふぅぅ…はぁ… 追記しておく出来る出来ないで言えばできるが、受託じゃねーんだよ。 自社サービスで、ほかのお客さんも使っているサービスなわけだ。何か障害でもあったら弊社ビジネスの危機なので、システムの裏口みたいなものを気軽にやってはいけない。 そのお客さんが求めているものは、 ①ダンプでの取り込みか、 ②直接お客様基幹システムの接続か、 ③それともお客様の社員データの加工業務も含めて弊社へやってもらいたいなのか どれなのかは確認は必要だが、 ①は弊社の社員テーブルと当然違うので、どこかにお客様のデー
Amazon EMR のバージョンアップ 3/3：Presto から Trino への移行 - Repro Tech Blog
前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の
Amazon Aurora and Amazon RDS announces Extended Support for MySQL and PostgreSQL databases
Amazon Relational Database Service (RDS) announces Amazon RDS Extended Support for Amazon Aurora and Amazon RDS database instances running MySQL 5.7, PostgreSQL 11, and higher major versions beyond the community end of life. Amazon RDS Extended Support provides you more time, up to three years, to upgrade to a new major version to help you meet your business requirements. Extended Support is avail
Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ | DevelopersIO
スナップショット 切り替えのタイミングでスナップショットを取得し、新クラスタを作成します。 スナップショットはRDSからAuroraへの移行だけでなく、メジャーアップグレードにも使えるため、その両方を同時に実現するのが良いでしょう。 新クラスタを作成するため、データベースのエンドポイントが変わります。 Blue/Greenデプロイメント RDS間、及び、Aurora間でメジャーアップグレードする場合、Blue/Greenデプロイメントが使えます。 ダウンタイムはスイッチオーバー時の一瞬ですし、アプリケーションの接続先が同じになるようなエンドポイントの調整や、切り替え時のデータロス対策等がフルマネージドで行われ、切り戻し先も残ります。 RDSあるいはAuroraに閉じて短いダウンタイムでメジャーアップグレードするのであれば最有力です。 RDSからAuroraへのBlue/GreenやAuro
WordPress を使っていると度々目の前に現れる「困りごと」。特に WordPress を使い始めた頃、慣れていない頃、または知識レベルが上がるタイミングなどに遭遇することが増えます。 知識レベルに関係なく、何か問題が目の前に現れると焦りますよね。特に大事に育てて（運営して）いるホームページが表示されない、表示がおかしいといった状況になったまま、どうしたら良いのか分からない時は焦りしか感じません。「落ち着いて」と言われても、わかっちゃいるけど落ち着けない。わかります。 この記事では、WordPress を利用していて遭遇する頻度が高いと言われている現象について紹介しています。そして、その現象の解決方法と再度問題が起きないためのアドバイスも掲載しています。 WordPress を使ってホームページを育てていくことをもっと楽しんでくれる人を増やしたい。そういう気持ちからこのコンテンツを用意
Making state easy with D1 GA, Hyperdrive, Queues and Workers Analytics Engine updates
For those who’ve been following D1 since the start: this is the same pricing we announced at open beta But things don’t just stop at GA: we have some major new features lined up for D1, including global read replication, even larger databases, more Time Travel capabilities that will allow you to branch your database, and new APIs for dynamically querying and/or creating new databases-on-the-fly fr
これはなに ども、レバテック開発部のもりたです。 クエリチューニングを学ぶとき、環境を作るのがとにかく面倒なんですが、そこんところをショートカットしてクエリチューニングの練習ができる環境を作りました。今回はそのご紹介です。 なお対象はMySQLです。 概要 こちらのリポジトリをクローンしてローカルのDockerで動かせます。 立ち上げ方等はREADMEにも書いてありますが、コンテナを立ち上げるとテーブルデータが入った状態で立ち上がります。改善可能なクエリが40本くらい用意してあるので、それのチューニングをして楽しいな、みたいな使い方を想定しています。書籍などでクエリチューニングの仕方自体は学んだんだけど、試す環境がないなあという方向けです。 動機と狙い なんのために作ったのかということも整理しておきたいんですが、RDB周りの勉強をしていて、ハンズオン系教材が少ないなと感じたのが発端です。W
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］ 複数のデータベースに負荷分散を行い、スケーラビリティを高める代表的な方法の1つに「シャーディング」があります。 シャーディングによる分散処理には、例えばあるテーブルのプライマリキーが偶数の値はサーバAに、奇数はサーバBに分散させるような方法（水平分割）、あるいは「商品名」「価格」「在庫数」「画像へのリンク」の4列を持つテーブルを、「商品名」「価格」と「在庫数」「画像へのリンク」の2列ごとのテーブルに分割して別々のサーバに受け持たせる方法（垂直分割）などがあります。 『週刊少年ジャンプ』の創刊50周年を記念して製作されたゲーム「ジャンプチ ヒーローズ」やパズルRPG「クラッシュフィーバー」「アリスフィクション」をはじめと
この記事は新野淳一氏のブログ「Publickey」に掲載された「Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey」（2023年6月23日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 代表的なITエンジニアのコミュニティサイトの一つである「Stack Overflow」などを運営するStack Overflowは、約9万人のITエンジニアにアンケートを行った結果をまとめた「2023 Developer Survey」を発表しました。 アンケートは5月8日から5月19日のあいだに行われ、185カ国から8万9184人のITエンジニアが回答しています。国別ではアメリカが21％
この記事ははてなエンジニア Advent Calendar 2023の17日目の記事です。 ついでにISUBONの17日目の記事です。スコアは変わらず717,858点。 今月の初めからISUBON(Iikanjini Speed Up BlogathON)と称してprivate-isuで遊んでいる。ルールは以下の通り。 毎日24時までに継続日数x10,000以上のスコアを出す 毎日24時までにその日やったことのブログを投稿する 以上のどちらかに失敗したら終わり 1日目 19,117点 - ぜのぜ 昨日までで717,858点取れたのでそのためにやったことをまとめる。 リポジトリ: https://github.com/Gurrium/private-isu 追記）80万点達成した 25日目, 814,586 - ぜのぜ 追記）90万点達成した 26日目, 916,936 - ぜのぜ 追記）1
この記事について 私がWebアプリケーションの設計をするときは、プレゼンテーション層、ドメイン層（ビジネスロジック層）、データアクセス層の3つを基本的なレイヤーとして構えることが多いです。 そしてリポジトリパターンを使用して依存の向きを逆転させ、ドメイン層をアプリケーションの中心に構えます。 ドメイン部分を中心に据え、変更の多いレイヤーを外側に持っていく考え方は、オニオンアーキテクチャやクリーンアーキテクチャでも採用されています。 ですが、これらのアーキテクチャを忠実に再現せずとも、最低限DIPにより処理の中心をドメイン層に据え、ビジネスロジックを疎結合で高凝集なクラス設計にすることで、中規模以上の開発にも十分耐えることができると思っています。 Source 今回使用したコードはこちらに置いています。 workspace npmのworkspaceの機能を使用し、上述した設計を作っていきま
2023-07-31Tech Studio MATSUE オフィスのご紹介はじめに みなさん、こんにちは。医療プラットフォーム本部プロダクト開発室第三開発グループ グループマネージャの太田です。レセコン（電子カルテの機能のうち主に会計など診療報酬の計算をするソフトウェア）新規開発プロジェクトでレセコンの開発を行っています。 2021 年 9 月 1 日に Tech Studio MATSUE オフィス（以下松江オフィス）が設立された際、他の初期メンバー 4 人と一緒にメドレーに入社しました。 記事を読み終わられた際は、1 人でも多くの方が松江オフィスに興味を持っていただけると嬉しいです。 松江オフィスでやっていること松江オフィスではレセコン新規開発プロジェクトとして、CLINICS カルテ に内包されるレセコン部分の開発を Ruby on Rails で行っています。 医療機関でどちらも使
はじめに 私はITエンジニアの仕事が好きです。結構楽しんで仕事をしています。 不器用な私でも自分で手を動かして課題解決できるのが嬉しいし、様々な制約条件の中で要件をどう実現するのか考えるのが楽しいです。保守性を考えてどのように実装するか考えるのも好きです。 ブリッジやマネジメント、PMがやりたいわけではなく、開発業務が楽しいです。 一方で私は技術に興味がありません。恥ずかしながら以下のようなことはやったことがありません。 休日に個人開発 最新動向のチェック 技術記事の執筆（社内での発信くらいはやる） エンジニアイベントへの参加 やっていることは以下くらいです。 業務で必要になった技術のリファレンスや記事を読み漁る 必要に応じて技術書読む X（Twitter）や社内Slackで流れてきた技術記事読んでみる ハンズオンは大の苦手なので基本読んで理解するだけで手を動かすのは基本業務の中です。 休
はじめに 最近、個人開発していたアプリケーションを会社内でリリースしました。 社内向けのアプリですが、完全にプライベートで開発したので自分の興味ベースで技術選定を行い、いろいろな知見がありましたのでこの記事で共有しようと思います。 個人開発では、自分の興味や好みに基づいて使いたい技術を自由に導入できることが大きな醍醐味だと思っています。 例えば、新しいフレームワークやライブラリ、デザインツールなどを試してみることで、自身の技術的なスキルや知識を拡大することができます。 目次 はじめに 技術選定 課題と難しかったこと 得られた知見とよかったこと ChatGPT等を利用した開発の効率化について 最後に 技術選定 掲示板風のサービスを開発を行うにあたり、フロントエンドとデザインをメインに考えて技術選定を行いました。 また、ポイントとして無料で運用できることと自分の興味を優先しています。 フレーム
アンドパッドは Kaigi on Rails 2023 に協賛しています！ and 登壇者から見どころを紹介します！ - ANDPAD Tech Blog
こんにちは！ 先月 9 月から採用広報となった id:sezemi です。 予想を遥かに超えて welcome いただき、この記事も @ydah 、 @ken3ypa 、 @makicamel 、 @kubo に加筆してもらい、公開できました。 ありがたし！ さて、本題です。 いよいよ 10/27 ～ 28 に開催される Kaigi on Rails 2023 に、アンドパッドは Gold Sponsor として協賛しています！ kaigionrails.org 2020 / 2021 / 2022 とオンラインでしたが、 2023 は初のオフラインも含めた開催 です！ ワクワクが止まらない、とはこのことでしょう。 また、 Kaigi on Rails と言えばグッズも注目ですが、 2023 のグッズもとても素敵ですね 🙌 (発送に時間がかかるので、イベント当日に持参したい方は早めに注文
[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO
AWS事業本部の森田です。 本日より、Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL がプレビューで利用できるようになりました！ ゼロ ETL ゼロ ETLを利用することで、Amazon Redshift から各データベースのデータにアクセスして、ほぼリアルタイムの分析や機械学習が可能となります。 また、「ゼロ」と名前についているように ETL オペレーションを実行する複雑なデータパイプラインの構築なしで上記が実現可能となります。 ゼロ ETL については、昨年の reInvent で発表されたサービスととなっており、Aurora MySQL で一足先に一般提供を開始となっております。 プレビュー対象 以下のデータベース・リージョンで新たにプレビューでの利用
![[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0c8f1dccd67ca316ff12f7da2a99cc2164a5d37/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fimage-2-5.png)
Terraform コードリーディング会を開催し、エンジニア組織全体でインフラの知識の底上げができた話 - メドピア開発者ブログ
SRE の田中 @kenzo0107 です。 Terraform コードリーディング会を実施した結果、 エンジニア組織全体でインフラの知識の底上げができた話です。 何故やることになったか？ 弊社では以下のような背景がありました。 SRE チームが基本インフラ管理 会社の成長に比例し管理するインフラが増加⤴️ SRE チームの処理能力が頭打ちにとなる未来が予想され、 インフラ管理は以下体制への移行が求められていました。 上記の体制へ移行活動の一環として、 まず 「Terraform を知る」こと、ひいては 「AWS を知る」きっかけを作るべく、 Terraform コードリーディング会を開催することとしました。 勉強会の頻度や基本方針 週 1 回 30 分 × 15~6 回*1 自身の携わるプロジェクトの勉強会に参加*2 構成図を元にコードを読む範囲の構成を定める 以下を見ながら、設定の意味
週刊Railsウォッチ: Rails公式の"rails-new"ツールでRailsプロジェクトをセットアップほか（20240409前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 公式更新情報: Ruby on Rails — Retry known idempotent SE
こんにちは、みてねプロダクト開発部 基盤開発グループ SREチームの伊東 @hekki です。 はじめに先日、AWSよりAmazon Aurora（以下、Aurora）の料金設定として新しくAmazon Aurora I/O-Optimized（以下、Aurora I/O-Optimized）が発表されました。 AWS announces Amazon Aurora I/O-Optimized 私達のワークロードでは、Aurora I/O-Optimizedを使うことでAuroraクラスターのコストを約半額に削減することができました。 ただし、Aurora I/O-Optimizedを活用することでコストが大幅に削減できる場合もある一方で、逆にコストが増加してしまう場合もあり、正しく仕様を理解して試算をしてから利用の判断をする必要があります。 そこで本エントリーでは、有効化前のコスト削減額
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
【RailsサービスのMySQL5.7 -> 8移行: 前編】MySQLのcollation周りの話 - hacomono TECH BLOG
この記事は、hacomono Advent Calender 2023の20日目の記事です。 はじめに こんにちは、プラットフォームチーム所属のまこたすです。 この記事は主にMySQL5.7,MySQL8.0のcollation周りの挙動の違いについて書いています。AWS RDS MySQL5.7がEOLを迎える今、一番話したい内容はRails x MySQL5.7環境からRails x MySQL8.0環境へ移行する際にハマった話とそこからみる気をつけるべき観点という話題ではあるのですが、前提の話が長いので記事を２つに分けてお伝えします。今回はRailsの話は触れず、MySQLのcollation周りの話のみをします。 この記事で書くこと MySQL5.7, MySQL8.0でのサーバー, データベース, テーブルのcollationの決まり方とSHOW CREATE (TABLE|DA
こんにちは、iimonのデッサンです。 本記事はiimonアドベントカレンダー25日目の記事となります。 メリークリスマス！ 会社ではフロントエンドに挑戦させてもらっていますが、 関係のないElasticsearchについての記事になります。 Elasticserachとは 全文検索: Elasticsearchは、大量のテキストデータを高速に検索することができます。これにより、文書、ログ、ウェブページなどのテキストデータの索引付けや検索が容易になります。 JSON形式のドキュメント: ElasticsearchはJSON形式でドキュメントを格納します。これにより、柔軟なデータ構造を扱うことができる。 多彩なクエリ機能: Elasticsearchは、複雑なクエリや絞り込み条件を使用してデータを検索できます。フルテキスト検索や範囲検索、複雑なフィルタリングが可能。 リアルタイム検索: デー
シニアパフォーマンスエンジニアになった — Indigo (@indigo13love) October 23, 2023 というわけで一人で立ち上げてから 3.5 年やってきた Snowflake の日本語サポートから開発チームに移って開発以外のエンジニアリングをします — Indigo (@indigo13love) October 23, 2023 誰Snowflake という会社に日本法人 1 人目のサポートエンジニアとして入社し、日本語サポートと東京サポートチームをゼロから立ち上げた者です。 前職は Amazon Web Services という会社で、Amazon Aurora という製品のチームで MySQL の Database Engineer をやっていました。何やるのEngineering (開発) 組織の中にある Applied Performance Group
はじめに こんにちは、ウェルスナビでフルスタックエンジニアの水馬です。 みなさんAWS公式ドキュメントは英語で読んでいますでしょうか？ もちろん日本語でのドキュメントも充実していますが、一部サービスでは日本語訳に対応していなかったり翻訳が不正確なものも存在します。 Amazon Translate や DeepLのような翻訳ツールを使うこともできますが、やっぱり英語のドキュメントをスラスラ読めるようになりたいですよね！ 本記事では、AWS公式ドキュメントで頻出する英単語を頻出順に紹介掲載しています。 ※ 本記事は、AWS DevDay Tokyo 2023 で発表した「英語で読もう！AWSドキュメント頻出英単語集1900！と、その作り方」のRe:Cap記事になります。 英単語帳の詳細についてはこちらの資料をご参照ください。 頻出英単語集1900！ はてなブログの文字数上限の都合上、上位20
TiDB入門 ~TiDBと周辺ツール群~
はじめに PingCAPの小板橋です。はじめまして！ TiDBの入門記事から上級者編を取り扱う本アカウント第一回目はTiDB入門ということで、TiDBの仕組みや周辺ツール群をご紹介していきたいと思います。 TiDBとは 簡単に表現するのであれば、MySQL互換のNewSQLデータベースです。 数百TB、100万以上QPS(Queries Per Second)以上を捌くことができるとされています。 また、これだけの高負荷を捌きつつ、OLTP(オンライントランザクション処理)とOLAP(オンライン分析処理)、この２つのワークロードを処理するHTAPデータベースとなっているのが強みですね。 OLTP - Online Transaction Processing(オンライントランザクション処理) OLTPは、多数にあるトランザクションを同時実行するデータ処理の一種となります。 例えばユースケー
2022年5月にCTOとして入社してから約１年半、これまで取り組んで来たことを振り返ってみました！（もちろん僕だけで行った訳ではなくエンジニア全体で行った取り組みです） これまで整備されていなかったところを整備出来た事によってサービスの品質を上げたり、デリバリーの速度向上によりビジネスが加速するようにしてきました。基本的な部分の取り組みが多いですが以前からすると大幅に変わったので紹介します！ EC2からECSへのインフラの変更 サーバーにはAWSのEC2を使用していましたがECS Fargateに乗せ換えました。開発はDockerにより元々行っていた為、コンテナをGitHub Actionsによりビルドしてデプロイ出来るようになり、環境の変更を行いやすくしました。また、オートスケールも自動的にされるので安定稼働させることが出来るようになりました。 Aurora Serverless V2の
PythonからMySQLデータベースへの接続と操作を行う手順を解説します。MySQLとPythonの連携が具体的に使われる場面や必要なライブラリの導入から始まり、データベースの作成、テーブルの操作、データの挿入・取得・更新・削除までをサンプルコードとともに紹介しています。 はじめに Pythonは汎用性が高く、データベースとの連携も得意とされています。MySQLは広く利用されるデータベース管理システムであり、PythonからMySQLを操作することでウェブアプリケーションの開発やデータ解析、ユーザー管理など幅広い用途に活用できます。 本記事ではPythonからMySQLデータベースに接続して基本的な操作を行う手順を、サンプルコードを交えて解説します。 MySQLとは？ MySQLはオープンソースかつ高性能なリレーショナルデータベース管理システム(RDBMS)であり、データの格納や取得、更
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Serverless Days Tokyo 2023に参加してきました！（前編） - Qiita
中卒30歳実務未経験駆け出しがエンジニアになって１年たった。 - Qiita
RawBytesは使い捨てよう - methaneのブログ
S3+Athena構成の弊社データ基盤の限界が近い - Qiita
Postgres is eating the database world
大テーブルと小テーブルのJOINのコスト計算の話
MySQLの基本知識①データ型：データテーブルに入れられるデータの種類について解説。
WordPressで利用者がよく遭遇する困りごとと対処法 | オレインデザイン
クエリチューニングを簡単に試せるハンズオン環境「SeekQueryLab」を作ったよ
ITエンジニア約9万人に聞く“よく使う言語”、1位は？ Stack Overflow調査
private-isuで70万点取るためにやったこと - ぜのぜ
中規模以上のWeb開発に耐える3層アーキテクチャとDIP設計
Tech Studio MATSUE オフィスのご紹介 | MEDLEY Developer Portal
技術に興味がないけどエンジニアやってます - Qiita
個人開発の醍醐味：自分の興味に基づいた技術の積極的な導入 - Qiita
DBのコストを半額に！〜Amazon Aurora I/O-Optimizedの活用〜
Elasticsearchについて - iimon TECH BLOG
Senior Performance Engineer になりました
英語で読もう！AWSドキュメント頻出英単語集1900！ - ウェルスナビ開発者ブログ
iimonに入社して約1年半で取り組んだ主に技術面の事について - iimon TECH BLOG
PythonからMySQLに接続してデータベースを操作するには - TECH PLAY Magazine