Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
SQL Server 2022 New Features: セットアップ時の Azure Arc への接続 at SE の雑記
SQL Server 2022 CTP 2.0 時点の情報となり、今後の Preview / 一般提供開始時には変更されている可能性もあります。 SQL Server 2022 New Features: Microsoft Purview 統合 で紹介した Purview 統合 (ポリシー設定) や、今後紹介する Azure Active Directory 認証を使用するためには、SQL Server がインストールされている環境を Azure Arc に接続 (オンボード) する必要があります。 SQL Server 2022 ではセットアップ時に Azure Arc に接続することができる機能が追加されており、GUI や、コマンドラインセットアップで Arc に容易に接続ができるようになりました。 Install SQL Server from the Command Prompt
仮想マシン上の SQL Server 用共有ディスク上の SQL Server FCI | Azure の更新情報 | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Azure SQL Database serverless (プレビュー) を触ってみました at SE の雑記
Build 2019 で発表された Azure SQL Database serverless を少し触ってみました。 ドキュメントはこちらから。 SQL Database serverless (preview) 基本的な考え方としては AWS の Aurora サーバーレス に通じるものがあるのかと。 (Azure SQL Database serverless は、現時点では最大 4 コアのモデルまでの小さなサイズでの提供となっていますので、スケール面での考え方は異なりますが) ■Azure SQL Database serverless とは？ Serverless とついていますが、サーバーがないわけではありません。 Azure SQL Database serverless は「プロビジョニングされたコンピュートリソースを持たない」Azure SQL Database の新しい
SQL Edge | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
AKS を使用した SQL Server 2019 の AlwyasOn 可用性グループの構築 at SE の雑記
SQL Server 2019 は Kubernetes (k8s) が利用された構成も追加されています。 新しい機能として追加される Big Data Clusters についても、基盤部分は k8s が利用され、その上に様々な役割の Pod が起動することで、大規模データ分析の基盤の構築が行われます。 SQL Server 2012 で追加された AlwaysOn 可用性グループについても SQL Server 2019 では k8s をサポートし、k8s の可用性 / 回復性を使用した SQL Server の冗長構成のクラスターを構築することができるようになりました。 (SQL Server 2017 でも k8s 上に SQL Server をデプロイすることはできたのですが、シングルインタンスとしての利用想定となっており、k8s の仕組みを利用した AlwaysOn 可用性グル
MongoDBの様なNoSQLに勢いがあるのは何故ですか？SQLと比べてどんな利点や欠点がありますか？ - Quora
回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...
SQL Server 2008 および Windows Server 2008 のサポート終了に関する新たなオプションを発表
執筆者: Takeshi Numoto (Corporate Vice President, Cloud + Enterprise) このポストは、2018 年 7 月 12 日に投稿された Announcing new options for SQL Server 2008 and Windows Server 2008 End of Support の翻訳です。 テクノロジは驚異的なペースで飛躍的に進化しています。マイクロソフトのサーバー テクノロジも例外ではありません。2008 のリリース サイクルの開始時は、32 ビットから 64 ビットへの移行期であり、サーバー仮想化と高度な分析の黎明期でした。それから 10 年が経過して、今や本格的にハイブリッド クラウド コンピューティングの時代に突入し、データや人工知能などの分野で魅力的なイノベーションが進んでいます。 私はこの場を借りて、
SQL Database Managed Instance の Public Preview が始まりました at SE の雑記
昨年から情報が出始めている、SQL Database の Instance 単位の PaaS のサービスである、SQL Database Managed Instance (MI) の Public Preview が開始されました。 「リソースの作成」から「Azure SQL Managed Instance」で作成の画面を開くことができるかと。 現時点では、承認制のプレビューとなっているため、すぐに使うことはできないのですが、ドキュメントが公開されていますので、まずは、こちらを追っていく感じでしょうか。 What is an Azure SQL Database Managed Instance (preview)? Create an Azure SQL Database Managed Instance (preview) in the Azure portal Migrate y
Announcing Azure SQL Database Premium RS, 4TB storage options, and enhanced portal experience - Azure のブログ - Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 - エンジニアHub｜Webエンジニアのキャリアを考える！
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
Announcing Azure SQL Database Premium RS, 4TB storage options, and enhanced portal experience | Microsoft Azure Blog
Explore Azure Get to know Azure Discover secure, future-ready cloud solutions—on-premises, hybrid, multicloud, or at the edge Global infrastructure Learn about sustainable, trusted cloud infrastructure with more regions than any other provider Cloud economics Build your business case for the cloud with key financial and technical guidance from Azure Customer enablement Plan a clear path forward fo
Virtual Desktop Infrastructure | Microsoft Azure Blog | Microsoft Azure
Explore Azure Get to know Azure Discover secure, future-ready cloud solutions—on-premises, hybrid, multicloud, or at the edge Global infrastructure Learn about sustainable, trusted cloud infrastructure with more regions than any other provider Cloud economics Build your business case for the cloud with key financial and technical guidance from Azure Customer enablement Plan a clear path forward fo
Public preview: Interactive query experience for SQL databases | Azure の更新情報 | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Announcing Jumpstart ArcBox for DataOps
HammerDB
Changing the size of a column in SQL Server Management Studio
'Microsoft.ACE.OLEDB.16.0' provider is not registered on the local machine. (System.Data)
Three reasons why Windows Server and SQL Server customers continue to choose Azure | Azure Blog | Microsoft Azure
At general availability, SQL Database Threat Detection will cost $15 / server / month | Microsoft Azure Blog