Go言語のためのRedshift Data API sql driver 『redshift-data-sql-driver』 - KAYAC engineers' blog
この記事はAWS Analytics Advent Calendar 2022の16日目です。 こんにちは、SREチーム所属の@mashiikeです。 13日目にも記事を書いて、なんと欲張って2回目も書いてます。 13日目の記事は『redshift-data-set-annotator』に関してでした。 このような形で、私は用途がニッチな物を作ることが多いのですが、本日はニッチシリーズの中からGo言語のためのRedshift Data API sql driverについて話します。 Redshift Data API Redshiftへ接続する際は、通常VPCへのアクセスが必要になります。 (Public AccessibilityをONにすればその限りではありませんが、セキュリティを考えると中々ONにすることはためらわれます。） そのため、psqlクライアント等を使って手元から接続するの
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit | DevelopersIO
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 この記事は、5月26日に行われた AWS Summit Tokyo（2023）のセッション『Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) 』のセッションレポートとなります。 セッション概要 経験や勘に頼らず、Amazon Redshift のクエリのボトルネックをシステマチックに分析してチューニングする実践的な手法を紹介します。マネジメントコンソールやシステムテーブル・ビューから時間ベースでボトルネックを特定して、チューニングを行う手法を理論と実践の両面から実例を交えて紹介します。 スピーカー アマゾン ウェブ サービス ジャ
[速報] 革新的な新しいハードウェアアクセラレーションキャッシュで他DWHよりも最大10倍高速化！ AQUA(Advanced Query Accelerator) for Amazon Redshift が発表されました #reinvent | DevelopersIO
現在米国ラスベガスで開催されている『AWS re:Invent 2019』。米国時間2019年12月03日(日本時間2019年12月04日深夜)、Amazon Redshiftに関する非常に興味深い機能が発表されました。それが当エントリでご紹介する『AQUA(Advanced Query Accelerator) for Amazon Redshift』です。 AQUA (Advanced Query Accelerator) for Amazon Redshift will change the way you use a data warehouse. A new distributed & hardware-accelerated cache brings 10x performance, compute+storage innovation, processors, scale o
![[速報] 革新的な新しいハードウェアアクセラレーションキャッシュで他DWHよりも最大10倍高速化！ AQUA(Advanced Query Accelerator) for Amazon Redshift が発表されました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ff36294ec8af62e6a60820f3bc995dc19612f3c9/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F12%2Faqua-for-amazon-redshift_1200x630.jpg)
クラウド環境におけるDWHの選択肢として、Redshiftはもはや珍しいものではなくなりましたが、弊社内の採用実績はそれほど多くはありませんでした。 本記事は元々そのような社内向けに、Redshiftの基本的な仕様をなるべく網羅的に理解できるようまとめたものです。 筆者について新卒でフューチャーに入社し、今年で8年目になります。 入社後は一貫して技術畑、オンプレミスのインフラに始まり、直近ではアプリケーションまで含めたプロジェクトの技術統括を担当しています。 私もかつては社内有数のAWSエンジニアを自負していましたが、最近は別の仕事のため少し遠ざかっており、クラウドの世界は日進月歩なこともあり知識をアップデートする必要を感じています。 ※この記事の準備中にもElastic Resizeがリリースされました。 本記事は私のリハビリも兼ね、ドキュメントのまとめだけでなく、実際に手を動かして振る
SNOWDAYで紹介しきれなかったRedshiftとSnowflakeの違い42選 - REVISIO Tech Blog
REVISIOのエンジニア片岡です。 先日2月14日、Snowflakeの大規模イベントSNOWDAY JAPANに参加・登壇してきました。 登壇資料はこちら。 speakerdeck.com ANAインターコンチネンタルホテル東京＋オンラインでの開催でしたが、オフラインイベントの独特の雰囲気と盛り上がりを久しぶりに体感できて非常に楽しかったです。 沢山の興味深いセッションや趣向を凝らした会場設営、コミュニティイベント含めてSnowflakeの世界観が感じられたイベントでした。 さて、タイトルにあるようにSNOWDAYでは時間の都合で紹介しきれなかった部分があったので、ここに書いておこうと思います。 RedshiftとSnowflakeは別の製品なので、当然違いは沢山あります。 ただ、Redshiftを色々なシーンで使用している状況から移行しようとするのであれば、ある程度同じ挙動をして欲し
Amazon Aurora MySQLとAmazon Redshiftをニアリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」パブリックプレビュー
Amazon Aurora MySQLとAmazon Redshiftをニアリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」パブリックプレビュー Amazon Web Services（AWS）は、Amazon Aurora MySQLのデータをAmazon Redshiftにニアリアルタイムで同期させる新サービス「 Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、ゼロETL）をパブリックプレビューとして提供開始したことを発表しました。 東京リージョンでも利用可能となっています。 OLTPのデータをほぼリアルタイムに分析可能に Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデ
AQUA (Advanced Query Accelerator) – A Speed Boost for Your Amazon Redshift Queries | Amazon Web Services
AWS News Blog AQUA (Advanced Query Accelerator) – A Speed Boost for Your Amazon Redshift Queries Amazon Redshift already provides up to 3x better price-performance at any scale than any other cloud data warehouse. We do this by designing our own hardware and by using Machine Learning (ML). For example, we launched the SSD-based RA3 nodes for Amazon Redshift at the end of 2019 (Amazon Redshift Upda
5年ほど前、ビッグデータとアナリティクスをめぐる誇大広告はたくさんありましたが、今日では、この業界は現実的に誇大広告に応え、ビジネスを前進させる根本的な力へと変貌を遂げています。この数年間で、毎秒生成されるデータの量は飛躍的に増加しました。このため、分析ワークロードを効率的に処理するエンタープライズ向けクラウドデータウェアハウス技術が登場することになったのです。 データウェアハウスは、データを効率的に活用し、深い洞察を得るのに欠かせないものとなっています。となると、どのデータウェアハウスが自分のビジネスに最適なのかが大きな問題になってきます。Amazon Redshift、Google BigQuery、そしてSnowflakeの三大データウェアハウスを検討してみましょう。強力なリレーショナルDBMS（データベース管理システム）のデータベースモデルであるRedshiftとSnowflake
【資料＆動画公開】AWSで実践！ビジネスを変革するデータ活用ソリューション | Amazon Web Services
Amazon Web Services ブログ 【資料＆動画公開】AWSで実践！ビジネスを変革するデータ活用ソリューション 2021年3月25日に「AWSで実践！ビジネスを変革するデータ活用ソリューション 」というイベントを実施しました。蓄積されたデータをこれから活用されようとお考えの方向けのセミナーで、特に「簡単に始めていただける」という点にフォーカスして、AWSのソリューションアーキテクトよりご説明しましたた。 今回このセミナーの資料や動画が公開になりましたので、以下で紹介します。 気軽にはじめるデータ可視化と機械学習による分析（講師：アマゾンウェブサービスジャパン株式会社 アナリティクス ソリューションアーキテクト 下佐粉 昭） 本セッションでは、可視化ソリューションにフォーカスし、可視化のメリットやそれを実現する課題を整理した後、Amaozon QuickSightによって、どのよ
New for Amazon Redshift – Data Lake Export and Federated Query | Amazon Web Services
AWS News Blog New for Amazon Redshift – Data Lake Export and Federated Query A data warehouse is a database optimized to analyze relational data coming from transactional systems and line of business applications. Amazon Redshift is a fast, fully managed data warehouse that makes it simple and cost-effective to analyze data using standard SQL and existing Business Intelligence (BI) tools. To get i
[新機能] Amazon Redshift Federated QueryがGAになったので試してみました | DevelopersIO
昨年のre:Invent2019で発表されたAmazon RedshiftのFederated QueryがGA（Generally Available：正式リリース）になりました！クラスタバージョン1.0.14677から利用可能なので早速試してみました。 Amazon Redshift Federated Querying is Now Available! 1⃣What's New - https://t.co/dbZjTSTX2z 2⃣Use Cases - https://t.co/y8NS5JaMhC 3⃣Getting Started Using CloudFormation - https://t.co/Pz9wmqK29d pic.twitter.com/ghi8O9m6JS — Jeff Barr ☁️ (@ ? ) (@jeffbarr) April 16, 2020
![[新機能] Amazon Redshift Federated QueryがGAになったので試してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2022 年 3 月 24 日に「 AWS で実践！Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS のアナリティクスサービスをご活用いただいている日産自動車株式会社、レバレジーズ株式会社、株式会社シャノン、株式会社カヤック、ビットバンク株式会社、ヤフー株式会社、株式会社 NTT ドコモにご登壇いただきました。本ブログでは各発表内容を紹介します。 自動車開発をサポートする積極的な QuickSight 活用事例紹介 日産自動車株式会社 R&Dデータサイエンス部門 課長 俵道 大輔 氏 資料ダウンロード 日産自動車ではあらゆるデータを一元管理しており、AWS サービスで環境を構築しています。データの
Amazon Redshift now supports Canonical Name (CNAME) or custom domain name, an easy-to-read Domain Name System (DNS) record that routes SQL client connections to either the endpoint of your Amazon Redshift cluster or Amazon Redshift Serverless workgroup. With CNAME, you don’t need to expose your Redshift endpoint in the database connection, which enhances your security and it’s easier to recall and
本記事は、データパイプラインを簡単に構築できるツールAirbyteでロードジョブを試していきます。 本アドベントカレンダーでは、日本でも海外でもマイナー寄りな製品を取り扱ってきてますが、多分一番知名度があるのがこのAirbyteになるかなと思います。 Airbyteについて Airbyteは2020年にサンフランシスコで創業されたテックカンパニーです。創業からわずか1年でシリーズAに到達し、$26Mの資金調達に成功しているスタートアップで、急激な成長速度で業界から注目を集めています。 Airbyte announces $26M Series A for open-source data connector platform | TechCrunch その最大の特徴は製品をOSSで公開しているという点でしょう。自身のAWSにデプロイすればAirbyteの機能をそのまま使えてしまう導入障壁が
Redshiftで遅いSELECT文のパフォーマンス分析した時の手順等メモ。 1. 分析対象SQLの実行 -- このセッション中でクエリ結果キャッシュを無効にする SET enable_result_cache_for_session TO off; -- 分析対象SQLを実行 -- SQLのコンパイル時間を除くため、分析対象SQLを再度実行 -- 現在のセッションで最後に実行されたクエリのクエリIDを取得 SELECT pg_last_query_id(); -- アラートが出てないか -- https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_STL_ALERT_EVENT_LOG.html SELECT * FROM stl_alert_event_log WHERE query = クエリID; -- 実行計画 -- http
AWS Glue visual ETL now supports new native Amazon Redshift capabilities
AWS Glue Studio now supports new native Amazon Redshift connector capabilities: browse Amazon Redshift tables directly in Glue Studio, add native Redshift SQL, execute common operations while writing to Amazon Redshift including drop, truncate, upsert, create or merge. AWS Glue Studio offers a visual extract-transform-and-load (ETL) interface that helps ETL developers to author, run, and monitor A
Amazon Redshift Update – Next-Generation Compute Instances and Managed, Analytics-Optimized Storage | Amazon Web Services
AWS News Blog Amazon Redshift Update – Next-Generation Compute Instances and Managed, Analytics-Optimized Storage We launched Amazon Redshift back in 2012 (Amazon Redshift – The New AWS Data Warehouse). With tens of thousands of customers, it is now the world’s most popular data warehouse. Our customers enjoy consistently fast performance, support for complex queries, and transactional capabilitie
データウェアハウスとして使う Amazon Redshift について | MEDLEY Developer Portal
2019-07-01データウェアハウスとして使う Amazon Redshift についてはじめにこんにちは。開発本部の阪本です。 今回は私が社内勉強会(TechLunch)にて Amazon Redshift(以下 Redshift)についてお話した内容を紹介させていただきます。 Redshift とは概要Redshiftとは AWS サービスが提供しているデータウェアハウスで、高可用/高パフォーマンス/柔軟なスケーラビリティを実現しているのが特徴です。 競合としてはBigQueryやHadoop、また同じ AWS サービスではAmazon Athenaも同様の位置付けになると思います。 データベースとしての特徴Redshift の特徴として、列志向型データベースという点があります。 MySQL のようなリレーショナルデータベースはデータを行（レコード）単位で保持している事に対し、Red
[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO
AWS事業本部の森田です。 本日より、Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL がプレビューで利用できるようになりました！ ゼロ ETL ゼロ ETLを利用することで、Amazon Redshift から各データベースのデータにアクセスして、ほぼリアルタイムの分析や機械学習が可能となります。 また、「ゼロ」と名前についているように ETL オペレーションを実行する複雑なデータパイプラインの構築なしで上記が実現可能となります。 ゼロ ETL については、昨年の reInvent で発表されたサービスととなっており、Aurora MySQL で一足先に一般提供を開始となっております。 プレビュー対象 以下のデータベース・リージョンで新たにプレビューでの利用
![[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0c8f1dccd67ca316ff12f7da2a99cc2164a5d37/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fimage-2-5.png)
はじめに Amazon Redshift には機械学習ベースで自動的にパフォーマンスを最適化する機能が複数あります。数が増えて追いきれなくなってきたので以下にまとめます。 Automatic Vacuum Delete デフォルトで有効 2018/12/19 に追加 UPDATE や DELETE オペレーションにより論理削除された行数にもとづいてバックグラウンドで自動的に VACCUM DELETE を実行します。これにより断片化で消費されていたスペースが解放され、ワークロードのパフォーマンスが向上します。 低負荷のときに実行するようにスケジュールされ、負荷が高い間は操作を停止します。 Automatic Analyze デフォルト有効 2019/1/18 に追加 バックグラウンドで自動的に ANALYZE を実行し、テーブルの統計情報を更新します。これにより最適なクエリの実行計画の作成
【Redshift】クエリパターンとパフォーマンスから学ぶCompound SortKeyとInterleaved SortKeyのユースケース | DevelopersIO
実行時間はほぼ横ばい。コストはCOMPOUND SORT KEYが一番低く、ソートキーなしとINTERLEAVED SORT KEYは同じ結果に。 -- レコード数1億件未満のテーブル -- セカンダリキーでORDER BY SELECT eventid FROM sales ORDER BY eventid; -- EXPLAIN XN Merge (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Merge Key: eventid -> XN Network (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Send to leader -> XN Sort (cost=1000000016724.67..1000000017155.81
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました | DevelopersIO
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました 先日のアップデートで Amazon Redshift で Data API が利用可能になりました。 Announcing Data API for Amazon Redshift Data API サポートによるメリット ドライバーが不要！ 従来、Redshift クラスターに接続するには JDBC/ODBC といったドライバーを介して SQL クライアントツールで接続していたかと思います。 Data API はその名のとおり API によって SQL ステートメントを実行することが出来ますので、クライアント環境にドライバーのインストールは必要ありません。Amazon EventBridge によるイベントまたはスケジュールをトリガーとして La
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた | DevelopersIO
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた データアナリティクス事業本部のコンサルティングチームの石川です。今日は、AWSが執筆した Amazon Redshiftとdbtを活用するためのベストプラクティスをまとめたホワイトペーパーを紹介します。 Best Practices for Leveraging Amazon Redshift and dbt™ リンクから誰でもダウンロードできます。 Redshift + dbtを導入しているけれど、果たしてこれが正しい使い方なのかモヤモヤしている方は少なくないと想像してます。筆者もその一人ですが、そのような方々の道標になれば幸いです。 目次 Abstract Introduction Amazon Reds
SREチームの竹田です。Tech Kayac Advent Calendar Migration Track 16日目の記事になります 弊社ではアプリケーションから出力されたログの集約管理ツールといえばfluentdほぼ一択になるでしょう。 プラグインやドキュメントも充実しており運用には欠かせない存在です。 「受信」「分類」「要素の置換/追加/削除」「転送」など様々な事をしてくれるのですが 、少々仕事をさせすぎてしまう傾向があります。 fluent-plugin-redshift 数年ほど前にリリースされたとあるサービスでログをRedshiftに投入したい要件がありました。 ログをfluentd経由でRedhshiftに投入したい場合fluent-plugin-redshiftを利用して投入することができます。 fluent-plugin-redshiftは内部で以下のようなことを行ってお
Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー（SortKey） ソートキー（SortKey）は、テーブルのデ
[新機能]Amazon Redshift Spectrum がついにCTASとINSERT INTOをサポートしたので実際に試してみました！ | DevelopersIO
[新機能]Amazon Redshift Spectrum がついにCTASとINSERT INTOをサポートしたので実際に試してみました！ データアナリティクス事業本部の石川です。クラスタバージョン1.0.15582から 「クエリの結果から外部テーブルを作成する（CTAS）」と「追加するテーブルの作成」が、Redshift Spectrumでも利用できるようになりました。早速試してみます！ CTASに関してはこれまでローカルテーブルへは出来ましたが外部テーブルへのCTASでの書き込みができるようになったのがポイントです。今まで同じことをしようとUnload+Create external tableと2ステップで行う必要がありました。 — Junpei Ozono (@jostandard) June 8, 2020 準備 検証用にサンプルデータのCSVファイルを用いて、外部スキーマと外
【Redshift】パフォーマンス計測時にはコードコンパイルとリザルトキャッシュに注意 | DevelopersIO
こんにちは。DA事業本部の春田です。 表題の通り、Redshiftには コードコンパイル と リザルトキャッシュ という概念があり、これらを知らずして正確なクエリパフォーマンスの測定はできません。基礎的な内容ですが、簡単にまとめていきたいと思います。 「コードコンパイル」「リザルトキャッシュ」とは？ コードコンパイルとは、あるクエリを 最初に実行した時 にデフォルトで行われるコンパイル処理で、初回実行時のみオーバーヘッドコストが少しかかりますが、2回目以降は高速に実行されるというメリットがあります。コンパイルされたクエリはキャッシュされ、同じクラスタのすべてのセッションへ共有されるため、異なるクライアントでもその恩恵を受けることができます。また、構造が同じでパラメータが異なるクエリでも高速に実行することができます。なお、今現在はコードコンパイルを無効化することはできません。 一方、リザルト
Redshiftのデータをサービス改善に役立てるデータ転送システム Queuery - クックパッド開発者ブログ
こんにちは、技術部データ基盤グループの佐藤です。この記事では最近業務として主に取り組んでいたDWHから外部へのデータ転送基盤であるQueuery（きゅうり）について、OSSとしてGitHubへの公開しましたのでこの記事でご紹介をします。 github.com Queueryというシステムは2017年の春頃にid:koba789の手により作られ、クックパッドのデータ基盤における重要な立ち位置を担っています。 背景 従来、RedshiftでSELECT文などの取得系クエリを実行するためにはRedshiftに直接接続してクエリを発行していました。この方法ではクエリ結果が巨大な場合にクライアント側のリソースを逼迫させることがありました。 しかし、それを避けるためにカーソルを使おうものなら今度はたちまちRedshiftのリーダーノードの具合が悪くなってしまいます。Redshiftから巨大な結果を得る
AWSは、Amazon Redshiftのストレージレイヤーに独自開発した専用ハードウェアを導入することで、クエリ性能を大幅に向上させる新機能「AQUA（Advanced Query Accelerator） for Amazon Redshift」の正式サービス化を発表しました。 Now you can get up to 10x better query performance than other enterprise cloud data warehouses with AQUA (Advanced Query Accelerator) for Amazon Redshift. https://t.co/FTNQM5WWun pic.twitter.com/eb6BlXsbIP — Amazon Web Services (@awscloud) April 15, 2021 Ama
Amazon Redshift: 列レベルのアクセスコントロールが出来るようになりました | DevelopersIO
先日、Amazon Redshiftにおいて「列レベルのアクセスコントロール」が出来るようになった旨、アナウンスがありました。 Amazon Redshift のための列レベルのアクセスコントロールの発表 Announcing column-level access control for Amazon Redshift Amazon Redshift now supports access control at a column-level for data in Redshift. Customers can use column-level grant and revoke statements to help them meet their security and complianc... https://t.co/TJZlrbFvYI — What’s New on AWS (
AWS Redshiftを導入する前に知っておくべき、AWS Redshift の特性、長所、他所を開発・運用してきた中で要所っぽいところをいくつかTips的にまとめた。 字量が非常に多くて申し訳ないが、参考になれば。 RDBに比べて有用なケース/苦手なケース 下記のケースに合致する。 SQL文をベースとした、複雑で演算コストの高いETL（分析用途用のデータ加工処理の通称）の実行 BIツールのような、3～5列程度の列を利用した参照クエリの実行。 下記のケースは向かない。 短時間で非常に多くのクエリを実行するアプリケーション（1秒に5～10クエリなど）のバックエンド 短時間で非常に多くのCommitを実行するアプリケーション（Webフレームワークが勝手に）のバックエンド 一度に多くの列を取得するクエリを発行するアプリケーション（CSV出力など）のバックエンド 性能について クエリの性能 1つ
本書の概要「データレイク」は、大量データ分析／生成データの活用を視野に入れた新しいデータストアのかたちです。従来のデータベース／データウェアハウスの範囲に収まらない多様なデータを大量に保管し、高度な統計分析や機械学習に役立つ情報基盤を作ることが可能です。 本書ではデータレイクの概念や特徴、必要とされる機能などをいちから解説し、さらにAmazonが運営するパブリッククラウドサービスAWS（Amazon Web Services）で実現する方法を解説します。 従来では想定しえなかった大量のデータを確実に保管するため、データレイクの世界ではクラウドのようなサービス型インフラストラクチャの活用が注目されます。さらにAWSではオブジェクトストレージS3上のデータを直接分析するAmazon Athena、データウェアハウスのAmazon Redshift、機械学習を実現するAmazon SageMak
Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture（CDC）を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS
RedshiftからAIサービスにアクセスするSUPERな方法 - KAYAC engineers' blog
こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは！今年からアナリティクスエンジニア（自称）を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまないサービスとしてAmazon Redshiftというクラウドデータウェアサービスがあります。 この記事では、Redshiftの機能として連携方法が提供されていない他のAWSサービス、特にAmazon ComprehendやAmazon RekognitionなどのAIサービスにアクセスする方法についてお話します。 その方法を使うことで、SQL(もしくは、PartiQL)からAWSが提供する構築済みのモデルにアクセスできるようになり、少ない工数である程度のテキスト分析や画像分析が実現できます。
Redshift to BigQuery migration for gaming app | Google Cloud Blog
Discord's migration from Redshift to BigQuery: lessons learned Editor’s note: We’re hearing today from Discord, maker of a popular voice, video, and text chat app for gaming. They have to bring a great experience to millions of customers concurrently, and keep up with demand. Here’s how they moved from Redshift to Google Cloud’s BigQuery to support their growth. At Discord, our chat app supports m
Amazon Redshift 用の AWS Step Functions を使用した ETL プロセスのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift 用の AWS Step Functions を使用した ETL プロセスのオーケストレーション 現在のデータレイクは、大量の情報を使用可能なデータに変換する抽出、変換、ロード (ETL) 操作をベースとしています。この記事では、AWS Step Functions、AWS Lambda、AWS Batch を緩やかに結合して Amazon Redshift クラスターをターゲットにする ETLオーケストレーションプロセスの実装について詳しく説明します。 Amazon Redshift はカラムナストレージを使用するため、便利な ANSI SQL クエリを使用した迅速な分析的インサイトに最適です。Amazon Redshift クラスターを数分ですばやく増減して、エンドユーザーレポートとデータウェアハウスへのタイ
Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 2 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 2 このマルチポストシリーズのパート 1、Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 1 では、Amazon Redshift Spectrum、同時実行スケーリング、および最近サポートされるようになったデータレイクエクスポートを使用して、データレイクアーキテクチャ用の ELT および ETL データ処理パイプラインを構築するための一般的なお客様のユースケースと設計のベストプラクティスについて説明しました。 この記事では、AWS サンプルデータセットを使用して、Amazon Redshift のいくつかの ETL および ELT デザインパターン
[レポート] (ANT230) [NEW LAUNCH!] Amazon Redshift の再設計: RA3 と AQUA #reinvent2019 | DevelopersIO
こんにちは！DA事業本部の石川です！ 本記事はAWS re:Invent 2019のセッションレポートとなります。先日（12/3）のキーノートで発表のあったRedshiftの次世代ノードタイプRA3とAQUA(Advanced Query Accelerator)について、急遽追加された最新セッションのレポートです。今日現在、次世代インスタンスRA3 と AQUA(Advanced Query Accelerator)に関する詳細情報はこのセッションの内容以外にないため、まめに書いてみました。 概要 Amazon Redshift continues to change the scale and economics of data warehousing. Learn more about announcements from the keynote and how they enabl
![[レポート] (ANT230) [NEW LAUNCH!] Amazon Redshift の再設計: RA3 と AQUA #reinvent2019 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e07f2c7d39da6051582c4376520fb03003c8a16/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第1回はAWS SA直伝の技術トレンドをお届けしましたが、第2回からはいよいよ実際のスタートアップ企業による解説です。今回はフロムスクラッチCTOの井戸端洋彰氏が担当、テーマは「大規模データの高速処理」です。記事の最後には、SAによるポイント解説もあります。（編集部） 莫大なコストがかかるデータマーケティングの課題を解決するために みなさん、こんにちは。株式会社フロムスクラッチにてCTOを務めております井戸端洋彰と申します。簡単に経歴をご紹介させていただきますと、新卒で外資系コンサルティング企業に入社し、クライアント企業の基幹システムの設計や開
The Amazon Artificial General Intelligence (AGI) team is looking for a passionate, highly skilled and inventive Senior Applied Scientist with strong machine learning background to lead the development and implementation of state-of-the-art ML systems for building large-scale, high-quality conversational assistant systems. Key job responsibilities - Use deep learning, ML and NLP techniques to creat
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshiftの仕様を調べてみた | フューチャー技術ブログ
Redshift と Snowflake の比較：6つの主な相違点
Amazon Redshift announces support for CNAME
自前でデータパイプラインをサクッと構築できる「Airbyte」を試してみた | DevelopersIO
Redshift クエリのパフォーマンス分析 - Qiita
Redshift の自動パフォーマンスチューニング機能まとめ - Qiita
fluentdを使ったRedshiftへのログ投入方法の変遷 - KAYAC engineers' blog
パフォーマンスに影響！Redshiftのテーブル設計時に最低限意識すべきポイント3選
Amazon Redshiftの性能を専用ハードウェアで加速する「AQUA」が正式サービスに
【AWS Redshift】導入前に知っておくべきこと - packpak’s diary
【電子書籍版】AWSではじめるデータレイク - テッキーメディア - BOOTH
AWSでペタバイト級の大規模データを高速処理するには？ フロムスクラッチの開発事例から学ぶ
Amazon Redshift re-invented