Best practices for performance tuning AWS Glue for Apache Spark jobs -
Best practices for performance tuning AWS Glue for Apache Spark jobs Roman Myers, Takashi Onikura, and Noritaka Sekiyama, Amazon Web Services (AWS) December 2023 (document history) AWS Glue provides different options for tuning performance. This guide defines key topics for tuning AWS Glue for Apache Spark. It then provides a baseline strategy for you to follow when tuning these AWS Glue for Apach
Deequ で大規模なデータ品質をテスト | Amazon Web Services
Amazon Web Services ブログ Deequ で大規模なデータ品質をテスト 一般的に、コード用のユニットテストを書くと思いますが、お使いのデータもテストしているのでしょうか? 不正確または不正なデータは、本番システムに大きな影響を与える可能性があります。データ品質問題の例は次のとおりです。 値がない場合は、本番システムで null 以外の値を必要とするエラー (NullPointerException) が発生する可能性があります。 データ分布が変化すると、機械学習モデルで予期しない出力につながることがあります。 データの集計を誤ると、ビジネスでの判断を下す際に誤った意思決定につながる可能性があります。 このブログ記事では、Amazon で開発し、使用されているオープンソースツールである Deequ を紹介したいと思います。Deequ では、データセットのデータ品質メトリクス
Apache Spark 3.1 Release: Spark on Kubernetes is now Generally Available - Spot.io
Apache Spark 3.1 Release: Spark on Kubernetes is now Generally Available Reading Time: 7 minutesWith the Apache Spark 3.1 release in March 2021, the Spark on Kubernetes project is now officially declared as production-ready and Generally Available. This is the achievement of 3 years of booming community contribution and adoption of the project – since initial support for Spark-on-Kubernetes was ad
Migrating Apache Spark workloads from AWS EMR to Kubernetes
IntroductionESG research found that 43% of respondents considering cloud as their primary deployment for Apache Spark. And it makes a lot of sense because the cloud provides scalability, reliability, availability, and massive economies of scale. Another strong selling point of cloud deployment is a low barrier of entry in the form of managed services. Each one of the ‘Big Three’ cloud providers co
AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、
Spark Internals - Hadoop Source Code Reading #16 in Japan
Apache Spark Introduction and Resilient Distributed Dataset basics and deep diveSachin Aggarwal
ストリーム処理を支えるキューイングシステムの選び方
ビッグデータのリアルタイム処理技術勉強会 http://futureofdata.connpass.com/event/40077/ 発表資料
Hue - The open source SQL Assistant for Data Warehouses
SparkのRDDとcontextを共有するために Livy Spark REST Job Server APIを使用する方法 Published on 12 February 2016 in Hue 3.10 / Programming / Spark / Tutorial - 4 minutes read - Last modified on 04 February 2020 （元のブログ記事はこちらです） Livyは任意の場所からApache Sparkを使用するためのオープンソースのRESTインターフェースです。LivyはローカルまたはYARNで実行される、Spark ContextのPython, Scala, Rのコード、あるいはプログラムのスニペットの実行をサポートしています。 エピソード1では、対話的なシェルAPIの使用方法を以前に説明しました 。 このフォローアップでは、
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
ビッグデータはどう収集するか | Hadoop Times
人工知能（AI）と機械学習は、近年急速に注目を集めているテクノロジーであり、その意味と重要性を理解することは、ビッグデータ時代において非常に重要です。 人工知能は、コンピューターシステムに人間のような知的な能力を付与する技術の総称です。機械学習はその一部であり、コンピューターがデータから学習し、経験に基づいて問題を解決する能力を獲得する手法です。 これらの技術は、あらゆる業界や分野において多くの可能性を秘めています。例えば、製造業では品質管理や予測生産性の向上に役立ちますし、医療業界では診断や治療の精度向上に寄与します。さらに、マーケティング分野では顧客行動の予測やパーソナライズドなサービス提供に応用されます。 ただし、これらの技術を導入するには適切なデータが必要です。ビッグデータ時代には膨大なデータが生成されますが、それを収集し、整理することは容易なことではありません。そのため、適切なデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Easy Guide to Create a Write Data Source in Apache Spark 3
Easy Guide to Create a Custom Read Data Source in Apache Spark 3
How to set timezone to UTC in Apache Spark?
Upgrading Data Warehouse Infrastructure at Airbnb
Run startup commands in spark-shell
GitHub - awslabs/deequ: Deequ is a library built on top of Apache Spark for defining "unit tests for data", which measure data quality in large datasets.
GitHub - MrPowers/spark-daria: Essential Spark extensions and helper methods ✨😲
Pyspark — data manipulation and pipeline
Big Data: Google Replaces YARN with Kubernetes to Schedule Apache Spark
Spark+AI Summit 2019 セッションハイライト (Spark Meetup Tokyo #1 - Spark+AI Summit 2019)
