【開催報告】Amazon Redshift 事例祭り(DWHマイグレーション) | Amazon Web Services
Amazon Web Services ブログ 【開催報告】Amazon Redshift 事例祭り(DWHマイグレーション) 先日(5月10日)、「Amazon Analytics (Redshift) 事例祭り」というイベントが開催されました。オンプレミスDWHを利用していた、もしくは現在使用しているお客様がDWHをAWSクラウド上のAmazon Redshiftに移行した経験談を共有していただくという内容のセミナーで、定員の120名を越えるお申込をいただき、会場が満室になる熱気の中で実践的な情報が共有されました。 この記事ではそのイベントの内容をご紹介します。また、各社発表資料へのリンクも掲載しています。 AWS session – データウェアハウスのAmazon Redshiftへの移行ガイド アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト 下佐粉 昭から、デ
リブセンスのデータ分析基盤を支えるRedshiftとAirflow
2018-04-06 BigData-JAWS勉強会 #12
BigData-JAWS勉強会でAirflowのことを話してきました - LIVESENSE Data Analytics Blog
データプラットフォームチームのよしたけです。 さて先日のBigData-JAWS 勉強会 #12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。 Airflowについては、このブログでも Airflow を用いたデータフロー分散処理 でご紹介させていただきましたが、今回、弊社での活用事例を交えてお話させていただきました。 発表後のQAや懇親会で、Airflowの導入を検討しているが実際どういうところが大変なのか? とか運用上のつらみ、とかそういうところを気にされている方が多かった印象でした。 AirflowはPythonでデータフローを記述するため、柔軟に何でもできるという強みがあり、反面、やりすぎると改修が大変になり運用しづらくなるデメリットもあるように思います。 私たちはDAG側にはロジックを盛り込まずRake側でロ
Amazon Redshift Spectrum 利用費と課金状況を把握する | DevelopersIO
はじめに Amazon Redshift Spectrum は、データウェアハウスであるRedshiftからシームレスにS3データを直接クエリ出来る機能です。その課金体系は、S3データをどれだけスキャンしたかによって課金されます。この手のサービスは知らず知らずのうちに課金されるのではないかと不安を抱え、導入を躊躇されることが少なくありません。今回は、安心して Amazon Redshift Spectrum を利用して頂けるように利用費と課金状況について解説します。 利用費の詳細 Amazon Redshift Spectrum の利用費 スキャンされたバイト数に対して課金されます バイト数はメガバイト単位で切り上げられ、10 MB 未満のクエリは 10 MB と計算されます スキャンされたデータ 1 TB あたり 5 USD CREATE TABLE、ALTER TABLE、DROP T
Amazon Redshift Spectrum がスカラーJSONおよびIonデータ型をサポートしたので試してみました | DevelopersIO
はじめに Amazon Redshift Spectrumによって、Amazon S3の外部テーブルに格納されているスカラーJSONおよびIONデータ型を直接読み込むことができるようになりましたので、早速試してみました。クラスタバージョンは、1.0.1865 です。 Amazon Redshift Spectrum Now Supports Scalar JSON and Ion Data Types Re: Amazon Redshift Announcements - Amazon Redshift Maintenance (February 22nd – March 15th, 2018) スカラーJSONおよびIONデータ型 JSONは、非同期のブラウザとサーバー間の通信に一般的に使用されるオープンスタンダードのファイル形式です。Ionは、データを長期間保存するための明確なセマンテ
Redshiftを数百人で使うためのコツ（クラスター構成編） — HACK The Nikkei
日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有
Amazon Redshift Spectrum Now Supports Scalar JSON and Ion Data Types
You can now use Amazon Redshift Spectrum to directly query scalar JSON and Ion data types stored in external tables in Amazon S3 - without loading or transforming the data. Redshift Spectrum, a feature of Amazon Redshift, enables you to use your existing Business Intelligence tools to analyze data stored in your Amazon S3 data lake. For example, you can now directly query JSON and Ion data, such a
『Amazon Redshift&Tableau パフォーマンスチューニング』に関するホワイトペーパーの改訂版を読んでみた（Amazon Redshiftの最適化編） | DevelopersIO
dc1.large Amazon Redshiftクラスタを使用している場合は、既存のスナップショットを使用して新しいdc2.largeクラスタに単純にリストアできます。 dc2.xlarge、dc2.8xlarge、またはdc1.8xlargeのAmazon Redshiftクラスタから移行するには、サイズ変更操作を使用して新しいDC2クラスタにデータを移動します。詳細については、Amazon Redshiftのクラスタとノードを参照してください。 DC2ファミリは、1ノードしか必要としない1TB未満のデータウェアハウス用に、コスト効率の高い小さなノードを用意しています。コンピューティング重視のノードを使用すると、同じデータに対する同じクエリが大幅に高速化され、結果としてTableauワークブックのパフォーマンスが向上します。 クラスタをスケールアウトしてノード数を増やすか、ノードサイズ
RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ
データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J
Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 ETL（Extract、Transform、Load）プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト（挿入）プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化
Top 8 Best Practices for High-Performance ETL Processing Using Amazon Redshift | Amazon Web Services
AWS Big Data Blog Top 8 Best Practices for High-Performance ETL Processing Using Amazon Redshift New: Read Amazon Redshift continues its price-performance leadership to learn what analytic workload trends we’re seeing from Amazon Redshift customers, new capabilities we have launched to improve Redshift’s price-performance, and the results from the latest benchmarks. An ETL (Extract, Transform, Loa
機械学習を用いた新機能『Amazon Redshift Short Query Acceleration(SQA)』を実際に試してみました | DevelopersIO
機械学習を用いた新機能『Amazon Redshift Short Query Acceleration(SQA)』を実際に試してみました はじめに Amazon Redshift に導入されたShort Query Acceleration(SQA)は、機械学習を使用して、クエリの実行時間を予測し、実行時間の短いクエリを、より高速に処理するためにショートクエリ用のWLMキューに移動して実行する機能です。これまで、レポート、ダッシュボード、インタラクティブな分析などの一般的に実行時間の短いクエリは、抽出、変換、ロード (ETL) 操作など実行時間の長いクエリの後のキューに入ると、クエリの実効が待たされてしまう可能性がありましたが、ショートクエリの応答時間の改善が期待できます。 Amazon Redshift が機械学習を使用してダッシュボードとインタラクティブ分析を高速化 Database
【Redshift】timestamp型のカラムを条件にして検索する時の書き方を変えたら爆速になった話 | DevelopersIO
Redshiftでtimestamp型のカラムを条件に検索することがあると思います。先日、方法によって処理時間に差が出るのか試してみたのですが自分的には驚きの結果でした。4つのパターンを3回ずつ試して時間を計ってみました。前提条件は以下になります。 テストしたテーブルの件数は約3億件で列数は50です。 Redshiftは ds2.xlarge 1台で試しました。 検索に使うカラムは分散キーやソートキーではありません。 countの結果は362269件でした。 to_timestamp関数を使った場合 まずは条件の方を to_timestamp関数で変換してやってみました。 select count(*) from テーブル名 where カラム名 = to_timestamp('2017/04/12 05:00:00', 'YYYY/MM/DD HH24:MI:SS'); １回目
アドテクってなに？高スループット、低レイテンシ、大規模データの広告配信システム | CyberAgent Developers Blog
この記事はCyberAgent Developers Advent Calendar 2017 12日目の記事です。 現在、サイバーエージェントのアドテクスタジオという部署で、ある新規プロダクトの開発チームの責任者している、新田智啓といいます。開発しているプロダクトはアドテクのDSPプロダクトで、今回はこのアドテク配信プロダクトについて話をしようと思います。 私はSIer出身で、アドテクスタジオに入るまでアドテクというものを全く知りませんでした。私はアドテクがサーバーサイドエンジニアとしてチャレンジングで面白い環境と感じていて、アドテクというシステムがどのようなものかを伝えたいと考えて、今回の機会に紹介したいと思いました。 意識せずに触れているアドテク 普段、意識せずに触れているアドテクというものがどのようなシステムか、どのような技術を使っているか、DSPのプロダクトがどのような規模感で、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
