タグ

datalakeと*serviceに関するsh19910711のブックマーク (4)

  • dbtとLookerにたどり着いたデータ基盤 ~混ざり合う境界線を考える~

    「Looker User Meetup Online #8」にて登壇した内容となっております

    dbtとLookerにたどり着いたデータ基盤 ~混ざり合う境界線を考える~
    sh19910711
    sh19910711 2022/07/22
    "「これは一旦LookMLだけで対応するようにします」ができるのは、開発リソースがそれほどないチームにはかなり助かった / データ基盤にはPIIを取り込まない: 解約後6ヵ月で削除するようにするなどを考えたくない"
  • スケールし続ける組織におけるデータマネジメント|ササキエア@マネーフォワード

    お久しぶりです。マネーフォワード分析推進室で日々データマネジメントに勤しんでいるササキです。他の方が書いた記事内にはちょこちょこ登場したりもしていたのですが、自分で記事を書くのはだいぶお久しぶりになってしまいました。 今回はマネーフォワードでなぜLookerを導入したかという話を軸に、マネーフォワードにおけるデータマネジメントについて整理してみたいと思います。後述しますが、マネーフォワードは組織の人数も事業の数もものすごいスピードで増えており、そういった環境下でのデータマネジメントに求められることを発信することで似た悩みを抱えている or 今後抱えそうな組織の助けになれることを期待しています。 前段:マネーフォワードの組織と事業領域は拡大している👆さて、編に入る前にまずはマネーフォワードという会社全体の動きについて、IR資料を引用しつつ紹介させてください。 マネーフォワードが大切にして

    スケールし続ける組織におけるデータマネジメント|ササキエア@マネーフォワード
    sh19910711
    sh19910711 2022/05/26
    "頑健であることは裏を返すと自由度が低い / 手元にあるデータを可視化し集計の定義自体もいじりながら試行錯誤し探索的に分析するためにはLookerだと道のりが長すぎる / ガバナンスとデータの民主化を両立する難しさ"
  • Apache Drill で見る Twitter の世界

    2015/11/12 Apache Drill Meetup Tokyo CyberAgent / AMoAd 渡部 優 ( Watanabe Masaru )

    Apache Drill で見る Twitter の世界
  • 新感覚なELTツール「Meltano」を使ってSlackのデータをDWHに連携してみた | DevelopersIO

    大阪オフィスの玉井です。 今回はMeltanoというツールをご紹介します。 Meltanoとは? 公式から引用すると「DataOps時代におけるEL(T)ツール」だそうです。 … …私の個人的な感覚で説明しますが、絶妙な位置づけのEL(T)ツールです。やることはELT(メインはEL)なのですが、とにかく位置づけが絶妙なのです。 Meltanoの絶妙なポジション データをE(抽出)してL(ロード)する…という仕組みを行いたいとき、ざっくり分けると、下記のどちらかを選ぶと思います。 手動で開発する(Pythonなど) そういうサービスを導入する(Fivetranなど) 前者は何でもできますが、人と時間のコストが半端じゃないです。後者はめちゃくちゃ楽ですが、ちょっとカスタマイズしたいみたいな時に、あまり身動きがとれません(融通が効きづらい)。 Meltanoは上記の中間に位置する感じです。コード

    新感覚なELTツール「Meltano」を使ってSlackのデータをDWHに連携してみた | DevelopersIO
    sh19910711
    sh19910711 2021/09/27
    Singer / "単体で保有している機能はE(抽出)とL(ロード)だけ / Tはdbtに一任 / Singer tapと呼ばれる、抽出やロードをパッケージングしたものを組み合わせてデータ移行の仕組みを構築"
  • 1