Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenTelemetry best practices: A user's guide to getting started with OpenTelemetry | Grafana Labs
Datadog on Data Engineering Pipelines: Apache Spark at Scale
ebook: Managing Cloud Native Data on Kubernetes
クラウドネイティブなDBを使ってみよう！（株式会社サイバーエージェント様）
Rook/Ceph最新状況@Japan Rook Meetup #4
#ACEU19: Marton Elek – Patterns and Anti-Patterns of running Apache bigdata projects in Kubernetes
KubeCon + CloudNativeCon North America 2019: Beyond Storage Management - Andrew Large...
Machine Learning Environment Made by Rancher
