データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
ビッグデータの成熟期に改めて見直したいETL - About connecting the dots.
Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ
これを読めばあなたもプロフェッショナル！DWH入門 - Analyze IT.
仕事柄、情報分析目的のRDBMSを触ることが多いのですが、こういった情報分析用途に用いるDBをDWH*1と言います。 以前、勉強会の懇親会でユーザーの立場でこういったシステムの構築に関わっているが、経験がなく、どのように構築していいかわからない。 またこの手の知識をどう勉強していいかわからない。と仰っていた方がいました。 別に大して難しい話でもないのですが、独自の単語が多い上、意外と資料がなくて困る分野だなとは思います。 そういうわけで、もしこの手の分野が難しいと感じている方は損をされています。 ぶっちゃけ、DWHは簡単な概念を少し覚えるだけで、もうプロフェッショナルになれます。 ベンダーやSIerともベシャリまくれることができます。 というわけで、自分なりにDWH関連の初歩の知識である上記の簡単な概念をまとめてみることにしました。 押さえておきたい単語は以下の6つ。 情報系システム、DW
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
