7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜
SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年間使用してきたRedshiftからSnowflakeへ移行した際の手法やツール、検証内容や両DWHの差異などについて詳しく語りました。 スライド内で発表した移行ツールはOSSで公開中です。 https://github.com/tvision-jp/redshift-to-snowflake-migration-utils https://revisio.co.jp/
300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6
［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022
Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転送ツールであるETLがなくなることが同社のビジョンだと説明。 新サービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表しました。 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。 新サービス「Amaz
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ 事例ニュース ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 BI／BA／DWH BI／BA／DWH記事一覧へ [事例ニュース] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 2021年9月7日(火)日川 佳三（IT Leaders編集部） リスト NTTドコモが自社のデータ分析基盤に「Google BigQuery」を導入した。オンプレミスとAWS（Amazon Web Services）で構成していた既存のデータ分析基盤にBigQueryを追加し、2021年7月から本格稼働を開始している。現在、高い処理性能を要求するユースケースなどユーザークエリーの6～7割をBigQ
［速報］Amazon S3にファイルを置くとAmazon Redshiftに自動で取り込まれる「Amazon Redshift auto-copy from S3」発表
［速報］Amazon S3にファイルを置くとAmazon Redshiftに自動で取り込まれる「Amazon Redshift auto-copy from S3」発表 Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2022」で、Amazon S3からAmazon Redshiftへデータを自動的にコピーする新サービス「Amazon Redshift auto-copy from S3」を発表しました。 これによりETLやデータロードのためのツールなどを用いることなく、簡単にAmazon Redshiftへデータを流し込めるようになります。 Amazon S3にファイルを置くとRedshiftに自動で取り込まれる Amazon Redshiftは大規模なデータを保存し分析を行う、データウェアハウスの機能を提供するサービス
AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 Serverlessオプションが使える主なAWSサービス Amazon Aurora Serverless v1 Amazon Auroraの概要 Amazon Aurora Serverless v1の特徴 Amazon Aurora Serverless v1の設定項目 Amazon Aurora Serverless v1の料金 プロビジョニング型とServerlessオプショ
Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニングに使用するデータと、予測する出力値を指定することで、機械学習モデルを作成できる。 機械学習モデルの作成後は、指定されたデータをAmazon RedshiftからS3バケットへエクスポートし、Amazon SageMaker Autopilotを呼び出してデータを準備し、適切なビルド済みアルゴリズムを選択してトレーニングを行う。 トレーニングやコンパイルなど、関連するすべての処理が、Amazon Redshift、S3、SageMakerの連携によって行われ、モデルのトレーニングが完了すると、Amazon Redshift MLはSageMaker Neoでモデルをデプロイ用に最適化し、SQL関数と
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース Amazon Web Servicesは、データウェアハウス機能などを提供するAmazon Redshiftの新機能として、SQL文を記述することで機械学習のトレーニングから推測まで実行できる「Amazon Redshift ML」の正式リリースを発表しました。 一般に、機械学習のモデルを作成し、トレーニングを行い、それを基に推論を行うには、機械学習のために用意されたサービスの使い方を覚え、学習データをローディングするといった操作が必要です。 AWSにも機械学習のためのサービスとして「Amazon Sagemaker」があり、データの準備やラベル付け、特徴抽出、モデル作成や選択、トレーニングなどのさまざまな機能を利用可能です。 例えばデータウェアハウスに格納されたデ
AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に
AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に オラクルは、AWS上でMySQLベースの分散インメモリデータベース「MySQL HeatWave」をマネージドサービスとして提供を開始したと発表しました（日本オラクルのプレスリリース）。 [Press Release] Oracle Announces MySQL HeatWave on AWS. Transaction processing Real-time analytics Machine learning#AWS users can run it all in one service with @MySQL Read more:https://t.co/ustPKBJTPC pic.twitter.com/N47dNjumdZ — MySQL (
AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlog
小西秀和です。 Amazon Aurora、Amazon Neptune、Amazon EMR、Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon OpenSearch Serviceなどのインスタンスで構成されたクラスターで処理を実行するAWSサービスでは、従来、リクエストを処理するために待ち受けているインスタンスの起動時間とインスタンスサイズに応じて料金が発生する課金体系でした。 近年ではこうしたクラスター型のAWSサービスの一部にリクエストやトラフィック処理に使用した時間やリソース量の分だけ料金が発生する課金体系が「～Serverless」のような名称で追加されてきています。 例えば前述したAWSサービスにはAmazon Aurora Serverless(v1, v2)、Amazo
【速報】Amazon Redshift Serverless (Preview)が発表されました！ #reinvent | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。日本時間2021年12月1日深夜のAWS re:Invent 2021のAdam Selipskyさんのキーノートにて、Amazon Redshift Serverlessが発表されました。 Redshift Serverlessは、これまでのようなにクラスターをプロビジョニングすることなく分析クエリの実行を可能とし、利用費は使用されている場合のみ支払うサービスです。 Amazon Redshift Serverless の特長 サーバーレスならではの使いやすさ Amazon Redshiftクラスターをセットアップ、調整、管理することなく、データにアクセスして分析します。 使用量に応じた支払い Amazon Redshiftのクラス最高のSQL機能、業界をリードするパフォーマンス、レイクハウスアーキテクチャを使用して、データウ
DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
Amazon Redshift Serverless が新機能を備えて一般公開開始 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Serverless が新機能を備えて一般公開開始 昨年の re:Invent で、Amazon Redshift Serverless のプレビュー版を紹介しました。これは、データウェアハウスのインフラを管理しなくても、自由にデータを分析できるAmazon Redshift のサーバーレスオプションです。データを読み込んでクエリを実行するだけで利用でき、料金は使用した分だけです。これにより、利用頻度が少ない分析処理や夜間のみ実行されるワークロードなど、データウェアハウスを常時利用しないユースケースの場合に、より多くの企業がモダンデータ戦略を構築することができます。また、データ利用ユーザーが拡大している新しい部門において、データウェアハウスインフラストラクチャを所有せずに分析を実行したいというニーズにも適用でき
論文から垣間見るAmazon Redshiftの進化と深化 2022 #jawsug #bdjaws | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日は、2022年5月に発表された論文 「Amazon Redshift re-invented」を実際に読み、難しいところや弊社が実際に検証をした点を補足して解説します。普段はRedshiftの機能や使い方の解説が多く、あまり触れられることの少ないUnder the hoods 的なお話しようと思います。 本エントリはAWS Analytics Advent Calendar 2022の12/24（土）の記事です。 論文の詳細については、2022/12/19のBigData JAWS #22にて、登壇した資料をご覧ください。ブログの中では、紹介した機能についてのブログを紹介しています。 このブログをおすすめする人 オライリーの「データ指向アプリケーションデザイン」や「詳説データベース」とかを読むと、Redshiftの内部が
AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能
Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。ze
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
こんにちは、アイティメディア＠IT編集部の三木です。これから「ほぼ月刊AWS」という連載をお届けします。パブリッククラウド、特にAmazon Web Services（AWS）に関しては情報があふれています。でも、次々に新しい発表が行われ、全体的な把握が難しくなってしまうことがよくあります。また、いったん発表された製品が急速に進化し、綿密にフォローしていないと取り残されてしまうことがあります。そこでこの連載では、AWSに関するさまざまな発表の「文脈」をお伝えしようと考えています。 第1回は、アマゾンウェブサービスジャパン（以下、AWSジャパン）が2020年7月20日に行った、2020年4～7月におけるAWSサービスの最新情報説明から、主にエッジとデータ関連サービス、既存システムのクラウド移行に関する新たな動きについてまとめます。 「エッジ」に向けた発表が目立つAWS、でも結局「エッジ」とは
Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明
Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明 GoogleはLookerの買収手続きが完了したことを発表しました。 Today, Google has completed its acquisition of @LookerData. Together, we’re excited to solve business problems for customers across all industries, wherever they are—be it on Google Cloud, in other public clouds, or on premises. Learn more → https://t.co/4AtRXjeT1t pic
Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
更新履歴 – 2020/1/8 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ
Amazon Redshift Serverless 本番環境に向けた「設定をカスタマイズ」による環境構築手順 | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。「デフォルト設定を使用」で構築するのであれば、ワンクリック3分で構築可能です。 しかし、本番環境のように任意のVPCに構築するには「設定をカスタマイズ」による環境構築が必要です。 1つ目のRedshift Serverless環境の構築は、「デフォルト設定を使用」を用いた環境構築 もしくは「設定をカスタマイズ」による環境構築のいずれかです。2つ目以降は、下記のサーバーレスダッシュボードの[ワークグループを作成]から環境構築します。この手順は、「設定をカスタマイズ」とほぼ同じで、RPUの設定が追加されたものとそれほど変わりません。 本日は、Redshift Serverlessを構築するための設定項目の整理して、「設定をカスタマイズ」による環境構築する手順について解説します。 環境構築するための設定項目 最初にRedshift S
Amazon Redshift 統計情報を自動更新する『Auto Analyze』の動きを確認してみました | DevelopersIO
はじめに Auto Analyzeは統計情報の更新（ANALYZE）がバックグラウンドで自動実行するサービスです。本日は実際の動作を確認してみました。 Auto Analyzeとは Amazon Redshiftは、テーブル内で、どのような値が、どのような頻度で出現するのかの情報である「統計情報」を事前に取得しておき、この情報を基に効率的にレコード操作を行う計画「実行計画」を立てて実行します。つまり最適なパフォーマンスを得るには、正確な「統計情報」が必要となります。 これまでテーブルのデータは日々更新に応じて、ANALYZEコマンドを実行する必要がありましたが、これをバックグラウンドで自動実行する機能が、『Auto Analyze』です。この機能は、クエリの負荷に基づいてスケジュール実行されるため、アドホッククエリやバッチクエリの妨げにならないので安心してご利用いただけます。 参考：テーブ
Redshift ServerlessとProvisioned Cluster のちょっとした違い
多すぎた「隠し味」-シェフ秘伝のレシピから見えてくるものとは？ / Too many “hidden flavors”
SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス - エニグモ開発者ブログ
この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール）を活用した販促支援、CRMなどを担当しています。（データ活用推進室、長らく私一人部署だったのですが、先月1名増えて2名体制になりました！） 目次 はじめに 目次 背景 日付および時刻関連のデータ型 SQL Server BigQuery Redshift タイムゾーンとは？ データ型まとめ 現在日時（日付と時間）の取得方法 SQL Server GETDATE関数 BigQuery CURRENT_TIMESTAMP関数 Redshift SYSDATE関
AWS、データウェアハウスをサーバレス化する「Amazon Redshift Serverless」や「Amazon EMR Serverless」など発表。AWS re:Invent 2021
AWS、データウェアハウスをサーバレス化する「Amazon Redshift Serverless」や「Amazon EMR Serverless」など発表。AWS re:Invent 2021 Amazon Web Services（AWS）は、Amazon Redshift ServerlessやAmazon EMR Serverlessなど4つのデータ分析サービスのサーバレス機能追加を、開催中のイベント「AWS re:Invent 2021」で発表しました（Amazon Redshift Serverlessの発表、Amazon EMR Serverlessの発表）。 Amazon Redshiftは大規模データを高速に分析するデータウェアハウスの機能をマネージドサービスとして提供するサービスです。SQL文を用いてデータベース内の構造化データやAmazon S3内の半構造化データなど
Amazon Redshift の 進化の歴史とこれから/redshift-evolution-2021
2021.04.06 Data Engineering Study #7「Redshift最新アップデートと活用事例」 講演資料「Amazon Redshift の進化の歴史とこれから」 https://forkwell.connpass.com/event/203403/ 更新: 2021.05.03 SUPER, Data Sharing GA に伴う変更 2021.05.28 Redshift ML GA に伴う変更
Amazon Redshift MLを使用することで、データウェアハウスユーザーが使い慣れたSQLコマンドで機械学習モデルを作成、トレーニング、デプロイ可能で、データの移動や新たなスキルの習得なしで、SQLによってAmazon SageMakerを活用できる。 Amazon Redshift MLを用いて、SQLで作成・トレーニングされたモデルは、クエリやレポートで直接チャーン予測や不正リスクスコアリングなどが可能で、Amazon SageMaker Autopilotでトレーニングデータに基づき、回帰、バイナリ、マルチクラス分類、線型モデルの中から最適なモデルを自動検出して調整を行う。 ほかにも、Xtreme Gradient Boosted tree（XGBoost）などのモデルタイプ、回帰や分類などの問題タイプ、プリプロセッサやハイパーパラメータを選択でき、パラメータを使用して、Am
Amazon Redshift 待望の PL/pgSQL のストアドプロシージャをサポートしました | DevelopersIO
はじめに ついにPL/pgSQLのストアドプロシージャがサポートされました。これはプロシージャの記述言語にPL/pgSQLが使えるようになり、更にPL/pgSQLを用いてストアドプロシージャが書けるようになるという２つの大きなアップデートを含みます。リリースバージョン 1.0.7562から利用可能になりました。新たに追加になったPL/pgSQLとそのストアドプロシージャについて解説します。 最新クラスタにアップデート PL/pgSQLとは PL/pgSQLの特長 ストアドプロシージャとは ストアドプロシージャの特長 ストアドプロシージャの例 ユースケース 最新クラスタにアップデート クラスタを確認して新しいクラスタ(Cluster Version 1.0.7562 )がスタンバイしている場合は、直ちにアップデートします。 PL/pgSQLとは PL/pgSQLは、PostgreSQLの手続
Amazon Redshift to BigQuery migration: Overview | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Amazon Redshift to BigQuery migration: Overview This document provides guidance on migrating from Amazon Redshift to BigQuery, focusing on the following topics: Strategies for migration Best practices for query optimization and data modeling Troubleshooting tips User adoption guidance The objective
Introducing Amazon Redshift Serverless – Run Analytics At Any Scale Without Having to Manage Data Warehouse Infrastructure | Amazon Web Services
AWS News Blog Introducing Amazon Redshift Serverless – Run Analytics At Any Scale Without Having to Manage Data Warehouse Infrastructure We’re seeing the use of data analytics expanding among new audiences within organizations, for example with users like developers and line of business analysts who don’t have the expertise or the time to manage a traditional data warehouse. Also, some customers h
Amazon Aurora, Redshift, DynamoDBのワークロード別性能を比較する - Qiita
はじめに AWSが提供する代表的なDBサービスには、クラウド前提で設計されたRDBのAmazon Aurora、 データ分析特化型RDBのAmazon Redshift、ワイドカラム型DB(NoSQL)のAmazon DynamoDB1があります。AWSの各DBサービスの使い分けについては、一般的には概ね業務系システムのDBにはAuroraやDynamoDB、分析系システムのDBにはRedshiftを利用すれば良いとされていますが2、その根拠について定量的に確かめてみたいと思ったので、実際にOLTP/OLAPワークロード別の負荷をかけて各DBサービスの性能特性の違いについて確認してみました。 ※実際のシステム性能は様々な条件により変動します。あくまでも参考情報の一つとして捉えていただきますようお願いします。 前提知識 まず前提となる考え方として、OLTP/OLAPワークロードについて概説し
[Tips] サクッと MySQL と PostgreSQL と Redshiftに大量データを作成する方法 | DevelopersIO
はじめに 前々から社内で書く書くって言ってた、サクッと大量データを作成する方法を紹介します。（これで書く書く詐欺って言われない♪） 大量データを作成の共通点 大量データを作成の流れは、大量データ用テーブルに自らの空レコードをコピーすることで大量のレコードを作成します。作成したいレコード数に達すると、一気に乱数を用いてレコードに値を設定します。今回の例では、以下のバリエーションのデータに対して値を設定しています。 オートインクリメントの主キーであるid 可変長文字列であるnameとdescription 符号なしINTであるprice フラグであるdelete_flag 日時データであるcreated_atとupdated_at MySQL5.7 / Amazon Aurora(MySQL5.7互換) の場合 items テーブルのidカラムは、AUTO_INCREMENTを用いて自動採番し
![[Tips] サクッと MySQL と PostgreSQL と Redshiftに大量データを作成する方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6e11f0321ff2b808b3c2e8f450654e734b7b0eb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_aws-services_1200x630.jpeg)
RedshiftのMERGE SQL commandがGAになりましたね。 - KAYAC engineers' blog
SREチームの池田です。 今回はAmazon RedshiftのMERGE SQL commandがGAになりましたので、MERGE SQL commandの何が嬉しいのかを話をしたいと思います。 SRE連載 4月号になります。 aws.amazon.com 3行でまとめ RedshiftのMERGE SQL commandがGAになりました。 Bulk UpsertをSQL1文で実行できるものです。 以前と比べるとスッキリします。 複数のデータソースから算出されるレポートの更新に使うと嬉しい。 以前のRedshiftにおけるBulk Upsertについて ご存知かもしれませんが、『なかったらInsert、あったらUpdate』を通称Upsertといいます。 Redshiftにおける、Upsertのやり方ですがMERGE SQL commandが出る前のRedshiftでは以下のドキュメン
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
Amazon Redshift 新しい圧縮エンコーディング『AZ64』とLZO、ZSTDの徹底比較 | DevelopersIO
Amazon Redshift 新しい圧縮エンコーディング『AZ64』とLZO、ZSTDの徹底比較 これまでは主に高速なLZO、高圧縮なZSTDの2つ圧縮エンコーディングをノードタイプやワークロードに応じて選択していましたが、新たに追加されたAZ64は高速と高圧縮な特性を兼ね備えています。今回は新たに追加されたAZ64について検証したいと思います。 Amazon Redshift が最適化されたストレージと高クエリパフォーマンス向けの新しい圧縮エンコーディングである AZ64 をリリース 以下、本文の抜粋です。 高い圧縮率と改善されたクエリパフォーマンスの達成を目的として設計された独自の圧縮エンコーディングである AZ64 が利用可能になりました。革新的な AZ64 アルゴリズムは、データ値の小さなグループを効率的に圧縮し、SIMD 命令を活用してデータを並列処理します。このエンコード
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に Amazon Web Services（AWS）が提供しているデータウェアハウス向けデータベースのAmazon Redshiftで、新機能としてマテリアライズドビューの正式サポートが発表されました。 New #AWSLaunches! AWS Resource Access Manager is Now Available in the Middle East (Bahrain) Region Amazon Redshift introduces support for materialized views (Generally Available)https://t.co/lB0bBYdvnl pic.twitter.com/JRVhK3ekRc — Amazon Web S
Go言語のためのRedshift Data API sql driver 『redshift-data-sql-driver』 - KAYAC engineers' blog
この記事はAWS Analytics Advent Calendar 2022の16日目です。 こんにちは、SREチーム所属の@mashiikeです。 13日目にも記事を書いて、なんと欲張って2回目も書いてます。 13日目の記事は『redshift-data-set-annotator』に関してでした。 このような形で、私は用途がニッチな物を作ることが多いのですが、本日はニッチシリーズの中からGo言語のためのRedshift Data API sql driverについて話します。 Redshift Data API Redshiftへ接続する際は、通常VPCへのアクセスが必要になります。 (Public AccessibilityをONにすればその限りではありませんが、セキュリティを考えると中々ONにすることはためらわれます。） そのため、psqlクライアント等を使って手元から接続するの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SnowflakeとRedshiftの比較検証
ありがとうRedshift よろしくBigQuery - freee Developers Hub
SQLで機械学習モデルを作れる「Amazon Redshift ML」が一般提供に
AWS、DWHサービスのサーバーレス版「Amazon Redshift Serverless」を一般提供開始
RedshiftとAurora、知らないうちにどんどん進化するAWSの2つのデータサービス
「Amazon Redshift ML」プレビュー公開、SQLで機械学習モデルの作成・トレーニング・デプロイが可能に