[B! data engineering] kimutanskのブックマーク

Building The Analytics Team At Wish Part 4— Recruiting

kimutansk 2018/01/28

データエンジニア、アナリストからなるデータ分析基盤チームのやるべきことと拡大する際に気を付けるべき４部作。面白い。最後にBigBrotherでのオファーがあるところもそれっぽくていいですねw

リンク

Cloudera Altus によるデータエンジニアリング

元記事: http://blog.cloudera.com/blog/2017/05/data-engineering-with-cloudera-altus/ 元記事著者: Philip Langdale 現代のビジネスでは、より膨大な量のデータや一連のデータソースを扱うため、分析、可視化、レポート作成を可能にするデータエンジニアリングの重要性がますます高まっています。パブリッククラウドでのデータエンジニアリングワークロードでは、オンプレミスの導入とは異なる運用モデルが可能となります。ここでの主な要素は、クラウド環境内に別個のストレージレイヤが存在することと、オンデマンドでコンピューティングリソースをプロビジョニングする能力 (例: それぞれ Amazon S3 と EC2) です。このような環境では、データサイロを作り出すことなくデータストレージを計算リソースから切り離すことが可能に

kimutansk 2017/05/25

利用者からAWSクロスアカウントの信頼を受けて、「利用者側のAWS環境」にクラスタを構築し、ジョブの投入ができるサービスと。立ち位置的には「そういった仲介機能を提供するSaaS？」

リンク

Tips for managing metadata in a data lake

Petrie polygon graph of the eight-dimensional cube. (source: Watchduck (a.k.a. Tilman Piesk) on Wikimedia Commons) Modern data architectures promise broader access to more and different types of data in order to enable an increasing number of data consumers to employ data for business-critical use cases. Examples of such use cases include product development, personalized customer experience, frau

kimutansk 2017/05/04

メタデータ管理として、技術（スキーマ形式構造）、運用（系譜品質データの出所不正レコード数ジョブ成功失敗等）、ビジネス（ビジネス名称タグ説明マスク実施等）の３系統で分類と

data engineering

リンク

Gunosyのデータ分析基盤、ログ基盤の全容

Cheating the UX When There Is Nothing More to Optimize - PixelPioneers

kimutansk 2017/03/03

整形を頭か尾か、生ログ（DataSwanp, Truth）＆整形ログ（DataLake）を双方持つというのも楽ではありますが・・ログ設計ミスった場合どう対応してるんでしょうね？

data engineering

リンク

リブセンスのデータ分析基盤の全貌

データ分析基盤Night #1 yusaku omasa

kimutansk 2017/03/03

URIは定義変更がない・・とはいっても構成変更等は当然発生すると思いますが、そのあたりは過去分からコンバートかけてるんですかね？

data engineering

リンク

7 key recipes for data engineering

After the construction of several datalakes and large business intelligence pipelines, we now know that the use of Scala and its principles were essential to the success of those large undertakings. In this talk, we will go through the 7 key scala-based architectures and methodologies that were used in real-life projects. More specifically, we will see the impact of these recipes on Spark performa