事業成長をBoostさせるデータ基盤 #devsumi #devboost / 20181215Developers Boost（デブスト）【B-4】の発表資料です。 https://event.shoeisha.jp/devboost/20181215/session/1896/ ブログに補足を掲載しました。 https://yuzutas0.hatenablog.com/entry/2018/12/16/230000
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog
※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
リクルートライフスタイルでは大小３０ほどのサービスを提供しており、それらのデータを横断的に分析出来る分析基盤を有しています。 データの利活用が推進されている昨今ですが、分析基盤を作っただけでは分析者はなかなか使ってくれません。 また、使っている分析者の要求は日々増していきます。 継続的に使ってもらえる分析基盤を構築、運用するためにはどのようにすれば良いのか？ 弊社の事例を踏まえて紹介させていただきます。 リクルートライフスタイル 山田 雄(ヤマダ ユウ)
クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
