Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
HTML tableの実装がこれまでと変わる！Googleデベロッパーによる変更点の解説 -TablesNG
GoogleではCSSの新機能を導入するだけでなく、既存の機能を向上することにも取り組んでいます。その中の一つ「TablesNG」で、HTMLのtableの実装がこれまでと変わるのでその変更点を紹介します。 tableは古くからあり、その後さまざまなCSSの機能がブラウザに実装されました。当然、それらの新しい機能にtableは対応していません。それらに対応し、不整合を修正するのが今回の取り組みです。 TablesNG Resolves 72 Chromium Bugs for Better Interoperability by Una Kravets, Aleks Totic 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに TablesNGの取り組み 1. テーブルの行にposition: sticky 2. バック
Automating MySQL schema migrations with GitHub Actions and more
EngineeringOpen SourceAutomating MySQL schema migrations with GitHub Actions and moreIn this deep dive, we cover how our daily schema migrations amounted to a significant toil on the database infrastructure team, and how we searched for a solution to automate the manual parts of the process. In the past year, GitHub engineers shipped GitHub Packages, Actions, Sponsors, Mobile, security advisories
テーブルの設計 - Azure Synapse Analytics
この記事では、専用 SQL プールでのテーブルの設計に関する重要な初歩的概念について説明します。 テーブル カテゴリを決定する スター スキーマは、データをファクト テーブルとディメンション テーブルに編成します。 一部のテーブルは、ファクト テーブルまたはディメンション テーブルに移動する前に統合またはステージング データに使用されます。 テーブルを設計する際には、テーブルのデータがファクト、ディメンション、統合のいずれのテーブルに属するかを決定します。 この決定は、適切なテーブル構造体および配布を通知します。 ファクト テーブルには、一般にトランザクション システムで生成された後、専用 SQL プールに読み込まれる定量的データが含まれています。 たとえば、小売業の場合、販売トランザクションが毎日生成され、そのデータが分析のために専用 SQL プール ファクト テーブルに読み込まれます。
Redshift Spectrumと Athenaの違いを探ってみた - Qiita
本エントリは、ulgeek Advent calendarの22日目です。 はじめに AWSではS3をデータレイクとして位置づけ、S3上のデータに直接アクセスできるインターフェースを用意しています。現在、Tokyoリージョンでも利用できる S3 のフロントサイドに Athena と Redshift Spectrumがあります。これらはユースケースによって利用すべきプロダクトが違ってきますが、その指針となるよう特徴をまとめてみました。 ※ Athenaは2017/6/22, Redshift Spectrum は 2017/10/20 からTokyoリージョンでも利用できるようになりました。 Athena と Redshiftの違い概要 共通 ファイルシステムに対して SQL を発行するプロダクトの Presto によって動作します。 スキャン課金が1TBあたり$5 パーティション、列指向
Arel cheatsheet
About Arel is an SQL abstraction library built into Ruby on Rails. https://github.com/rails/arel Tables users = Arel::Table.new(:users) users = User.arel_table # ActiveRecord model Fields users[:name] users[:id] where (restriction) users.where(users[:name].eq('amy')) # SELECT * FROM users WHERE users.name = 'amy' select (projection) users.project(users[:id]) # SELECT users.id FROM users join basic
mysqldumpの使い方 バックアップ＆リストア編 基本の章
こんにちわ。システムエンジニアのリョータです。 前回は、オプションをずらーっと並べて紹介しました。 mysqldumpの使い方 オプション編 mysqldumpのオプションが多すぎて、どこをどうすればいいのかわかりません。 ということで、今回はもうすこし実用的な形で進めたいと思います。 今回は、テーブルやデータベースをバックアップ＆リストアをする、基本的な方法をまとめてみました！ テーブル まずは、テーブルをバックアップ＆リストアする方法です。 1.テーブルのダンプ mysqldump -uroot -p -hlocalhost database_name table_name > filename テーブルの定義とデータをダンプする方法です。 テーブルは、1つだけでなく複数指定することもできます。 mysqldump -uroot -p -hlocalhost database_name
『テーブルを別の（他の）データベースのテーブルへコピー in mysql』
How to copy a table to another database in MySQLタイトル通り、今あるデータベースのテーブルを他のデータベースへコピーしたい。Djangoだと違うプロジェクトにまたがってデータベースにアクセスが出来ないようだ。まぁたしかにそうかな。 お弁当やサンドイッチのGoogleランキングをレコードしていたが、そのデータベースを移行することになったので必要になった。 別のデータベースの任意の名前でコピーする方法 CREATE TABLE copydb.copytablename SELECT * FROM originaldb.originaltablename; copydbとかcopytablenameは各自の名前に変換すること。 ちなみにすでにテーブルがある場合はDropするように。 DROP TABLE IF EXISTS copydb.copyt
ファイルからのデータ入力 - tachikawa844の日記
MySQLを始めて勉強中。データベースとテーブルを作成した後、既存のcsvファイルをテーブルに流し込む操作をやってみた。 最初にテキストの例のとおりに以下のコマンドでやったみた。 mysql> load data infile "指定ファイルの絶対パス" into table テーブル名 fields terminated by "," lines terminated by "\n";するとこんなエラーになった。 ERROR 13 (HY000): Can't get stat of '指定ファイルの絶対パス' (Errcode: 2)そこで調べてみると、ここに（http://mlog.euqset.org/archives/ml@mysql.gr.jp/14306.html）解決策が出ていた。 なんでもload data infileはMySQLのサーバ側にファイルを読み込ませる文らし
超久々。MySQLのDELETE JOINについて。 » サイト構築の紆余曲折 » “のぬけす”の紆余曲折
超久々。MySQLのDELETE JOINについて。 投稿日：2012年07月26日 カテゴリー MySQL 投稿者 nonukes いやさあ、最近お仕事が忙しいというか、気が付きゃ復職して半年が過ぎて、かなり疲労が溜ってきてるのね。 家に帰ってまで仕事に没頭している訳ではないんだけど、家に帰るとどっと疲れが出て、帰ってまでパソコン触ろうという気になかなかなれなくてね。 前回のエントリから早1ヶ月。 さすがに、ちょっとは記事を書かないとね。 と、いうワケで、MySQLのDELETE文について書きます。 これまで、データベースからデータを削除する場合には、 DELETE FROM `table_name` WHERE `id` = '{$id}' てなカンジで、WHERE句にはそのテーブルに存在するカラムを直接指定していたが、今回の仕事では他の関連テーブルのカラムの値に基づいて削除する必要が
MySQLのload dataで日付型にnullをセットする - 文系プログラマによるTIPSブログ
皆大好きLOAD DATAについてのお話です〜 LOAD DATAコマンドはinsertと比較して10倍以上のパフォーマンスでデータを取り込む事ができます。しかし、いろいろ癖があるため、扱いにくい点があります。 本題は日付型にnullをセットする事ですが、この際いろいろ見て行きたいと思います。 LOAD DATAでトランザクションは効くか LOAD DATAする時にデータの加工もできるか LOAD DATAでnull値を設定する方法その１ LOAD DATAでnull値を設定する方法その2 LOAD DATAでトランザクションは効くか ずばり効きます。 しかし5.1等の古いバージョンでは効きません。もし効かない場合、beginとcommitの間にALTER TABLE 等のDDLが挟まってないか確認して下さい。 DDLは暗黙commitが実行されるため、トランザクションは強制コミットされま
MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.1.20 CREATE TABLE ステートメント
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
【ASP】Tableタグの行（ヘッダ）列固定を行うプラグインサンプルコード集【jQuery】
tableタグのヘッダ行・列固定の解決方法 過去に書いた記事 「GridViewヘッダ固定・列固定」 の続きです。 サイト紹介と逃げの回避策だけを書いて数年間放置してました。 が・・・ 「Gridview 固定」とかでググるとあまりにも上位に表示される自分の記事・・・ コメントも貰ったし、お粗末な状態で放置できないなぁと悩んだ結果 tableタグのヘッダと列固定を行う場合の解決方法を実装しておこうと考えました。 いくつか調べた結果、 tableタグの行列固定を行うにはスタイルシートかjQueryのプラグインが有名のようです。 今回は、jQueryを使ってお目当ての動きを実装しました。 jQueryのプラグインもいろいろあって、前回も2種類ほど書いてたのだけど 結果的には過去にはなかったプラグインで解決できました。 使ってみたプラグインは以下の3種類です。 ・SuperTables ・jqu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bootstrap3に用意されているクラス【table編】 | Webお役立ちネタ帳
layer8.sh