並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 767件

新着順 人気順

redshiftの検索結果41 - 80 件 / 767件

  • データを一箇所に集めることでデータ活用の民主化が進んだ話 - once upon a time,

    先日、この記事を読んで分析のハードルを下げること大事だよね、というのを思い出したのでつらつらと書いてみようと思います。 qiita.com 内容としては正直タイトル詐欺で、SlackからRDSにクエリ発行できるようにして、各種権限を持っているエンジニアでなくても分析できるようになったよ、という話です。 ここでいう「データ活用の民主化」というのはかっこ良く言ってみたかっただけで、「データ分析を生業にしている人以外もデータを活用してビジネスを進められるようになる」というくらいのニュアンスだと思って下さい。 「データ分析」というとアナリストの人がやること、みたいな職務が分かれている環境もあるとは思いますが、そうではない会社(前職)の一例です。 データ活用が広まった流れ 数秒〜数十秒で対話的にクエリが返ってくると、トライアンドエラーが100倍くらいできる 今まで実行計画を気にして避けていたことにガ

      データを一箇所に集めることでデータ活用の民主化が進んだ話 - once upon a time,
    • Amazon Redshiftによるリアルタイム分析サービスの構築

      AWS Summit Tokyo 2014「Amazon Redshiftによるリアルタイム分析サービスの構築」 COOKPADが提供している分析サービス「たべみる」のアーキテクチャ

        Amazon Redshiftによるリアルタイム分析サービスの構築
      • データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ

        こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum(S3+Glue)周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か

          データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
        • ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog

          この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園!ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園!ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます!!! 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は

            ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
          • 7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜

            SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lang=ja 独自のテレビ視聴質データを利用したCM効果分析サービスを提供するREVISIO株式会社の片岡が、7年間使用してきたRedshiftからSnowflakeへ移行した際の手法やツール、検証内容や両DWHの差異などについて詳しく語りました。 スライド内で発表した移行ツールはOSSで公開中です。 https://github.com/tvision-jp/redshift-to-snowflake-migration-utils https://revisio.co.jp/

              7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜
            • Amazon Redshiftによるビッグデータ分析環境の構築手順

              CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

                Amazon Redshiftによるビッグデータ分析環境の構築手順
              • これからAmazon Redshiftを始める技術者が注意すべき11つのポイント | DevelopersIO

                更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき22つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何?という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう!クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意! 1件ずつINSERTするととても遅いので注意! 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意! COPYコマンドは全件INSERTなので注意! CSVでアップロードする場合の注意点! サポートしているデータ型に注意! エンコーディ

                  これからAmazon Redshiftを始める技術者が注意すべき11つのポイント | DevelopersIO
                • モンスターストライクを支えるデータ分析基盤と準リアルタイム集計

                  AWS Summit 2018 Tokyo にて

                    モンスターストライクを支えるデータ分析基盤と準リアルタイム集計
                  • Amazon AthenaをBigQueryと比較してみた

                    こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ(CSV, JSON, その他フラットファイル)に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go

                      Amazon AthenaをBigQueryと比較してみた
                    • 第1回 Amazon Redshiftとは[前編] | gihyo.jp

                      Amazon Web Services(AWS)は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ

                        第1回 Amazon Redshiftとは[前編] | gihyo.jp
                      • AWS Release Notes

                        Amazon is an Equal Opportunity Employer: Minority / Women / Disability / Veteran / Gender Identity / Sexual Orientation / Age.

                          AWS Release Notes
                        • Gunosyのデータ分析基盤、ログ基盤の全容

                          Cheating the UX When There Is Nothing More to Optimize - PixelPioneers

                            Gunosyのデータ分析基盤、ログ基盤の全容
                          • RDBMSの苦手なことを 如何に乗り越えていくか / challenge-to-rdbms

                            # 参考資料 - イミュータブルデータモデル(入門編) - https://www.slideshare.net/kawasima/ss-40471672 - イミュータブルデータモデル(世代編) - https://www.slideshare.net/kawasima/ss-44958468 - スタースキーマ(基礎) - https://zenn.dev/pei0804/articles/star-schema-design - ディメンション・モデリング - https://zenn.dev/pei0804/articles/dimensional-modeling - 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/3vfD5nJ

                              RDBMSの苦手なことを 如何に乗り越えていくか / challenge-to-rdbms
                            • Logをs3とredshiftに格納する仕組み

                              Ken MorishitaData Scientist, Machine Learning Engineer, Software Developer

                                Logをs3とredshiftに格納する仕組み
                              • Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha) - Gunosyデータ分析ブログ

                                こんにちは。グノシー開発部で部長をしている@cou_zです。最近はDJ RYOWのビートモクソモネェカラキキナ 2016 REMIXをよく聴いています。11/23のライブが楽しみですね。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えています。Gunosyではデータ可視化にいくつかのツールを利用していますが、その中でも最近はRe:dashを用いることが多くなってきました。 先日、Re:dashを用いたリアルタイムKPI通知について紹介しました。 data.gunosy.io 今回は、Re:dashの新しい機能である Query Results (Alpha) Data Source を紹介します。 この機能により、複数Data Sourceのクエリ結果のJOINが可能になりました。アルバイトで分析を担当している松嶋も「ついに使えるようになったんですね!!r

                                  Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha) - Gunosyデータ分析ブログ
                                • みんなのウェディングのデータ分析基盤の作り方。

                                  Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray

                                    みんなのウェディングのデータ分析基盤の作り方。
                                  • Web企業のログ基盤まわりをまとめてみた - もょもとの技術ノート

                                    はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定(たぶん) 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタイム分析サービスの構築 from Minero Aoki www.slideshare.net リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ from Hiroyuki Inoue www.slideshare.net techlife.cookpad.com メルカリ tech.mercari.com SmartNews speakerdeck.com developer.smartnews.com DMM labotech.dmm.com labotech.dmm.com l

                                      Web企業のログ基盤まわりをまとめてみた - もょもとの技術ノート
                                    • 事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO

                                      はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる

                                        事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO
                                      • AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services

                                        Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo

                                          AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
                                        • Tableau: Business Intelligence and Analytics Software

                                          Explore data, deliver insights, and take action with Tableau AI. Accelerate decision-making and eliminate repetitive tasks with Tableau Pulse and Einstein Copilot. Intelligent analytics at scale. Watch Demo Try Tableau for Free Tableau Pulse is now generally available. Learn more. Explore the latest data trends in the age of AI. Check out what more than 10,000 analytics, IT, and business leaders h

                                            Tableau: Business Intelligence and Analytics Software
                                          • AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | AWS

                                            こちらでは、おすすめの当日のセッションの動画、プレゼンテーション資料をご覧いただけます。(順次アップデート中) トラック別のセッション紹介はこちら ≫

                                              AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | AWS
                                            • Cloud-based data analytics exploration for all | Chartio

                                              Chartio has joined Atlassian! For over a decade, we have loved serving tens of millions of charts on millions of dashboards for thousands of incredible companies. All of you have helped us create a product that truly enables anyone in a company, not just data teams, to explore and understand their data. We are excited to announce that we have joined Atlassian and are now focused on bringing our te

                                                Cloud-based data analytics exploration for all | Chartio
                                              • 大規模ログ分析におけるAmazon Web Servicesの活用

                                                第27回TokyoWebmining 講演資料 http://tokyowebmining27.eventbrite.com/ バンダイナムコスタジオのログ集計・分析基盤”Greco”では、Amazon RDSとEMR、そして最近では様々なデータウェアハウスを検証した上でRedshiftを活用しています。OLTPとOLAP、双方のニーズに応えるためにどんなシステム構成を取っているか、また分析に耐えうる正確なログ出力のためにどんな工夫が必要か、の2点を重点的にお伝えします。 Read less

                                                  大規模ログ分析におけるAmazon Web Servicesの活用
                                                • 気軽に始めてみよう!クラウド時代のデータウェアハウス超入門 | DevelopersIO

                                                  始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ

                                                    気軽に始めてみよう!クラウド時代のデータウェアハウス超入門 | DevelopersIO
                                                  • スタートアップでも出来る分析基盤 - AppBrew Tech Blog

                                                    こんにちは、遊撃エンジニア兼代表の深澤です。 最近はインフラからサーバーをメインにいじっています。昔はクライアントも書いていました。 弊社は、「再現性を持ってユーザーに刺さるプロダクトをつくる」ことを目指しチームビルディングをしています。 なので、創業からのてんやわんや(スタートアップは皆そうです)の中で、数字とちゃんと向き合う方法を模索してきました。 結果として、今現在どういった分析基盤で仕事をしているかに関して書きたいと思います。 ※注 あくまで、2017年初頭にサービスインしたLIPSの分析基盤を、分析について何も知らない人間が組んできたという話です。開始の技術選定からは1年以上経っているので、参考程度にお願いします。 技術的には枯れた内容しかやっていません。分析は、技術だけでなく、掛けるコストやオペレーションに組み込むレベルの話が出来てはじめて意味をなすものなので、そちらの話がメイ

                                                      スタートアップでも出来る分析基盤 - AppBrew Tech Blog
                                                    • SnowflakeとRedshiftの比較検証

                                                      300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。

                                                        SnowflakeとRedshiftの比較検証
                                                      • Treasure Dataが何の告知も無く突然価格を10倍に値上げした件について

                                                        日本人の有名な技術者たちが起業したとして話題のTreasure Data(トレジャーデータ)。最近日本市場に向けた販売強化をすると発表した。だが以前からずっと日本企業相手にビジネスやってきていたはずだ。過去にリクナビなどで広告記事も見た。なぜ今さら発表? と不思議に思っていたら、以前に比べて価格が大幅に値上がりしていることに気がついた。 現在の最低価格は2TB上限で月3000ドルだ(http://www.treasure-data.com/pricing/)。無料のメニューもあるが、1ヶ月に60クエリまでしか実行できないので、企業で使うなら事実上有料のメニューしか選択肢が無いと考えて良い。 だが実は、つい最近までTreasure Dataには月29ドル、月299ドルのメニューがあったのだ。Internet Archiveには4月11日時点の記録があった。これを見ると、500GB上限の月29

                                                          Treasure Dataが何の告知も無く突然価格を10倍に値上げした件について
                                                        • 「Amazon Redshift」を使ってみた ~使いどころと、つまずきがちなポイント

                                                          はじめに Amazon Redshiftは、Amazon Web Services(AWS)が提供するデータウェアハウス(DWH)サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー~サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン

                                                            「Amazon Redshift」を使ってみた ~使いどころと、つまずきがちなポイント
                                                          • Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO

                                                            データベース設計を考える上で、あなたが下さなければならない重要な決定があります。その決定はクエリパフォーマンス全体に影響を与える可能性があります。これら設計に関する決定はまた、I/Oオペレーションの数を削減したりクエリを処理するのに必要なメモリを最小化する事でクエリのパフォーマンスに影響を与えるストレージ要件に大きな影響を及ぼします。 テーブル作成の際にクエリのパフォーマンスに最も大きな影響を与えるであろう決定次項は以下のとおりです。 最善のソートキー(sort key)を選択する 最善の分散キー(distribution key)を選択する 最善の圧縮戦略(compression strategy)を選択する 制約を定義する あなたが下す決定は、データベースが行なっている作業の種類に依存して来ます。全ての状況に効果的な『最高のソートキー』は無いのです。 このセクションでは最も重要な設計上

                                                              Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO
                                                            • ActiveRecordを使ってRedshiftから大量のデータを効率的に読み出す - クックパッド開発者ブログ

                                                              こんにちは、トレンド調査ラボの井上寛之(@inohiro)です。 普段は、クックパッドの検索ログを基にした法人向けデータサービス「たべみる」の開発や、 広告事業周辺のデータ分析などを担当しています。 Amazon Redshiftなどのデータベースに蓄積されたログなどの大量のデータに対して、 日次や週次などの単位でバッチ処理を行っている方は多くいらっしゃると思います。 ログなどを扱うバッチ処理では、処理対象が膨大であるとアプリケーションが使うメモリが増大し、 枯渇してしまう恐れもあるため、データの扱いに気をつける必要があります。 データベース内で完結するバッチ処理ならばそこまで気にする必要は無いかもしれませんが、 外部のプログラムからデータを読み出して処理する場合は特に注意が必要です。 そこで考えられる一つの工夫として、処理対象を分割して、繰り返して処理を行う方法が挙げられます。 一般的な

                                                                ActiveRecordを使ってRedshiftから大量のデータを効率的に読み出す - クックパッド開発者ブログ
                                                              • スキューのない世界を目指して - クックパッド開発者ブログ

                                                                こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift(以下、Redshift)で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いたりしています。 突然ですが、スキュー(skew)という単語をご存じでしょうか。 「skew 意味」で検索すると「斜め」とか「傾斜」といった訳が出てきますが、コンピューティング界隈では「偏り」という訳語が定着していると思います。 さらに、分散並列DB界隈で単にスキューもしくは偏りと言った場合、それはしばしばデータの偏りを指します。 データが偏っているとは データが偏っているとは、複数ノードで構成される分散並列DBにおいて、各ノードが保持するデータ量(行数)に

                                                                  スキューのない世界を目指して - クックパッド開発者ブログ
                                                                • Amazon Redshift(高速、シンプル、費用対効果の高いデータウェアハウス)| AWS

                                                                  何万ものお客様が Amazon Redshift を毎日使用して、データ分析ワークロードを最新化し、ビジネスに役立つインサイトを提供しています。Amazon Redshift は、フルマネージド型で AI を活用した超並列処理 (MPP) アーキテクチャにより、ビジネス上の意思決定を迅速かつコスト効率よく行えます。AWS のゼロ ETL アプローチは、すべてのデータを統合して、強力な分析、ほぼリアルタイムのユースケース、AI/ML アプリケーションを実現します。最先端のセキュリティ機能ときめ細かなガバナンスに支えられて、組織、AWS リージョン、さらにはサードパーティのデータプロバイダー内および組織間で、データを簡単かつ安全に共有および共同編集できます。

                                                                    Amazon Redshift(高速、シンプル、費用対効果の高いデータウェアハウス)| AWS
                                                                  • Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO

                                                                    Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー

                                                                      Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
                                                                    • ありがとうRedshift よろしくBigQuery - freee Developers Hub

                                                                      ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンmm) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの? 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6

                                                                        ありがとうRedshift よろしくBigQuery - freee Developers Hub
                                                                      • Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services

                                                                        Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 ETL(Extract、Transform、Load)プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト(挿入)プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化

                                                                          Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services
                                                                        • Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る | gihyo.jp

                                                                          Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ─⁠─H

                                                                            Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る | gihyo.jp
                                                                          • Cookpad TechConf 2016 - DWHに必要なこと

                                                                            Cookpad TechConf 2016での青木の発表資料。大量のデータを最大限に活用するためのデータ処理システムの構築方針について

                                                                              Cookpad TechConf 2016 - DWHに必要なこと
                                                                            • RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ

                                                                              データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J

                                                                                RedshiftとBigQueryでよく使うSQLの違いTips - Gunosyデータ分析ブログ
                                                                              • すかいらーくがRedshift+Tableauで実現した「売るためのIT」 (1/2)

                                                                                日本を代表する外食産業企業である「すかいらーくグループ」は、数十億件におよぶPOSデータをリアルタイムで分析する基盤をAmazon Web Services (以下、AWS)のデータウェアハウス(DWH)サービスであるRedshift上に構築した。あらゆる点で型破りな事例の裏側について、マーケティング部と情報システム部の2人に聞いた。 施策の変更でキャンペーンの利益が4倍増 「ガスト」や「バーミヤン」「ジョナサン」など年間4億人が利用するファミリーレストランを手がけるすかいらーくグループ。日本国内に3000店舗を展開する同社がクラウドベースのデータ分析基盤を構築したというニュースは、業界に大きなインパクトを与えている。しかも、AWSの中でも新しいサービスであるRedshiftや利用者の評価が高いTableauの採用、相談から1ヶ月での構築・運用、そして年間4億人分という膨大なデータ規模など

                                                                                  すかいらーくがRedshift+Tableauで実現した「売るためのIT」 (1/2)
                                                                                • 請求書からみるAwsとgcpの比較

                                                                                  9. AWSの構成 t2.medium x 2台 console側 c3.large x 1台 c3.large x 4台 t2.small x xx台 DMP側 集計サーバー t2.medium x 2台 t2.large x 3台

                                                                                    請求書からみるAwsとgcpの比較