気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
18 usersがブックマーク
3
3
AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
18 users
aws.amazon.com
aws.amazon.com
記事へのコメント3件
- 注目コメント
- 新着コメント
sh19910711
groupFiles / "AWS Glue ファイルのグループ化を使用することで、小さいファイルを処理する毎に1 つの Apache Spark タスクを起動するような、過剰な並列処理を抑える"
sh19910711
groupFiles / "AWS Glue ファイルのグループ化を使用することで、小さいファイルを処理する毎に1 つの Apache Spark タスクを起動するような、過剰な並列処理を抑える"
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分... Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
aws.amazon.com
aws.amazon.com
aws.amazon.com
aws.amazon.com
wakayamajisatu.jimdofree.com
www.hayaponlog.site
forest.watch.impress.co.jp
xtrend.nikkei.com
www.gizmodo.jp
qiita.com/Sicut_study
engineers.ntt.com
speakerdeck.com/orgachem
www.itmedia.co.jp
zenn.dev/cybozu_frontend
www.techno-edge.net
jumpsokuhou.com
2019/10/29 リンク