PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング 上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver) - Qiita
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver)AWShadoopSparkEMRgooglecloud 0.はじめに Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の14日目です。(投稿が過ぎてしまって本当にすいませんでした。。。) タイトルは若干煽り目ですが、今年はAmazon EMRとGoogle Dataprocを使う機会が多かったので、実際に利用しての現時点における機能比較と使ってみての所感についてまとめてみようかと思います。 補足や誤り等あればぜひお願いいたします。 先に結論 現時点においては適材適所なのでどちらが絶対的優勢とは言えないのですが、以下が現時点におけるベターな使いかたかなと思います。あくまで所感です。
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
Spark Streaming と Kryo シリアライザーの話 - MicroAd Developers Blog
マイクロアドでアプリケーションエンジニアをしている「G」です。日々、バッチを作ったり WEB アプリケーションを作ったりしています。 今回はライトに Spark Streaming でカスタム Kryo （クライオ）シリアライザーが必要になってしまったお話を書いていきたいと思います。 Spark Streaming とは Spark Streaming とは Apache Spark という分散コンピューティング基盤上でストリーム処理を行うためのソフトウェアです。 マイクロアドでは秒間数万件以上発生するユーザーのアクセスログの処理のために Spark Streaming を利用しています。 詳細は以下の記事をご確認ください。 developers.microad.co.jp ブロードキャスト変数とシリアライズの罠 Apache Spark では、メインプログラムが実行されるドライバーと呼ば
[Spark道場]メモリとCPU数の設定を最適化する
皆さん こんにちは、GMOアドマーケティングのS.Rです。 大規模分散処理フレームワークである�Sparkですが、皆さんはSparkの設定を最適化したことはありますか？ Sparkは設定次第でPerformanceが10倍以上改良する可能性があります。 今回はSparkの重要な設定の一部である、executorメモリ、Core数の設定の最適化例を紹介します。 1. Yarnのモード Sparkが主に使っているResource ManagerはYarnなので、今回はYarnで管理する場合の設定を紹介します。 YarnはClient（図1）や Cluster（図2）の2つのモードがあります。 ClusterモードはSparkのApplication ManagerはMaster Nodeで動作し、ClientモードではApplication ManagerはWorker Nodeで動作します
![[Spark道場]メモリとCPU数の設定を最適化する](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4dc07fca3d10b74455c8cc4e0607fe9865841ac/height=288;version=1;width=512/https%3A%2F%2Ftechblog.gmo-ap.jp%2Fwp-content%2Fuploads%2F2017%2F12%2Fakane-44-1024x632.png)
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - delta-io/delta: An open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs
spark-notes
Debugging a long-running Apache Spark application: A War Story
Diving into Apache Spark Streaming's Execution Model