LINEの大規模なData PlatformにData Lineageを導入した話

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか

[dogusare]

頼もしい

[akrtak]

素晴らしい。data lineageへの投資は即効性を感じないので後回しになりがちだが後でボディブローのように利いてくるはず

[razokulover]

400ペタバイト...

[cocoasynn]

おっ

[sh19910711]

Dashboard Lineage, めっちゃ良さそう / "Dashboard Lineage: データの変更/障害の発生時に影響のあるDashboardを把握したり + Trino, Spark SQLの公式のParserライブラリーを利用してSQLを解析 / Table間の関係性の取得には、Apache Atlasを利用"

[udzura]

“Apache Atlas”