Spark の driver で起きたエラーとその対応 - astamuse Lab
はじめまして山縣です。 私のチームでは弊社のサービスやコンサルティングなどで必要となる特許やその他さまざまなデータを収集・解析しています。特許情報などのデータはデータサイズとして大規模であったり複雑だったりすることもあり Hadoop なども含めたいろいろなミドルウェア・ツールを使っています。 そこで私の記事ではそういった業務に活用しているツールについて書いていきたいと思います。 今回は Spark についてです。(なお Spark が何かなどの解説はいたるところにあると思うので省略します。) 弊社でのSparkの導入は去年の春くらいからはじまりました。はじめは試験的に使っていましたが徐々に利用範囲を広げ、今ではデータの処理には欠かせないものとなっています。 弊社には Cloudera社のCDHを使った Hadoopクラスタがあり、Spark はそのクラスタのYARN上で稼働しています。Y
SparkPackages
spark-als Another, hopefully better, implementation of ALS on Spark (already merged into MLlib) @mengxr / Latest release: 0.1.0 (2014-11-27) / BSD 3-Clause / (1) 3|ml 2|mllib 2|recommendation mllib-grid-search An example project for doing grid search in MLlib @spark-ml / Latest release: 0.0.1 (2014-11-27) / BSD 3-Clause / (2) 1|ml 1|example 1|examples spark-avro Integration utilities for using Spa
How to stop INFO messages displaying on spark console?
I'd like to stop various messages that are coming on spark shell. I tried to edit the log4j.properties file in order to stop these message. Here are the contents of log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
reduceByKey vs groupBykey vs aggregateByKey vs combineByKey
Scaling with Apache Spark
What is data warehousing on Databricks?
A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets - The Databricks Blog
How to use Spark BigQuery Connector locally?
Overriding default Spark/Hadoop jars
GitHub - samelamin/spark-bigquery: Google BigQuery support for Spark, Structured Streaming, SQL, and DataFrames with easy Databricks integration.
GitHub - spotify/spark-bigquery: Google BigQuery support for Spark, SQL, and DataFrames
Real-Time Recommendations Using Spark Streaming
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui Sun, UC Berkeley AMPLAB and Intel)
Spark Internals - Spark - Apache Software Foundation
GitHub - yahoo/TensorFlowOnSpark: TensorFlowOnSpark brings TensorFlow programs to Apache Spark clusters.
FAQ - When is it a good idea to set Spark locality wait to zero? – DataStax Support
https://www.hadoop-times.com/wp-content/uploads/2016/07/sql_engne_game.pdf
Spark SQL Data Sources API: Unified Data Access for the Apache Spark Platform
Spark in Action Book Review & Interview
Apache Spark 2.0 Technical Preview
