Google Cloud 上の Spark: サーバーレス Spark ジョブでデータの利用がすべてシームレスで可能に | Google Cloud 公式ブログ
GCP を試す$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう 無料トライアル ※この投稿は米国時間 2021 年 10 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 Apache Spark は、データ エンジニアリング、データ探索、機械学習にかかわるユースケースにすべて対応できることから、広く支持されるプラットフォームとなりました。ですが Spark には、まだオンプレミスでのクラスタ管理と各ジョブに合わせたインフラストラクチャの調整が必要とされています。また、エンドツーエンドのユースケースでは、Spark の使用に TensorFlow などのテクノロジーや SQL や Python などのプログラミング言語が求められます。現在、非構造化データレイクでは Spark を使用、データ ウェア
Dataproc Serverless for Spark 触ってみた - Qiita
はじめに Google Cloud Next '21 で Dataproc Serverless for Spark が発表されました。 Spark jobs that autoscale and made seamless for all data users | Google Cloud Blog Google Cloud Next におけるデータ分析に関するまとめ | Google Cloud Blog その機能をいくつか試してみましたので、本記事ではそれを紹介致します。 Dataproc Serverless for Spark を含む Spark on Google Cloud の機能は、一般公開待ち、及び非公開プレビューとなっています。利用されたい場合は以下からお申し込みください。 https://docs.google.com/forms/d/e/1FAIpQLSccIXlE
インフラエンジニアだけどSparkStreamingとKafkaをつかってアクセスログを集計してみた - Qiita
インフラエンジニアっぽくNginxのアクセスログをリアルタイム集計してみる SampleがScalaが多いのでScalaで書いてみた(初Scala) なうな感じでNginx=>Fluent=>Kafka=>SparkStreaming Scala汚いのはゆるしてね 基本的にWorkCountのsampleをごにょごにょしただけ とりあえず集計してみる Sampleログ こちらを使わせてもらってLTSVのログを用意しました。 最後の行だけ魔改造してます。 puts "time:#{Time.at(now).strftime('%d/%b/%Y:%H:%M:%S %z')}\thost:#{record['host']}\tforwardedfor:#{record['host']}\treq:#{record['method']} #{record['path']} HTTP/1.1\tst
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spark Structured Streaming
Structured Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) - Spark 3.5.0 Documentation
https://www.madewithtea.com/stateful-streaming-in-spark-and-kafka-streams.html
Spark Streaming の基本とスケールする時系列データ処理 - Spark Meetup December 2015/12/09
