【機械学習】iPython NotebookでSparkを起動させてMLlibを試す - Qiita
SparkをiPython Notebook(Jupyter)で動作させ、MLlibを動かしてみるテストです。クラスタリング（KMeans）、分類:Classification（SVM, ロジスティック回帰, Random Forest）をirisデータで試しました。 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0 (x86_64)| (default, May 28 2015, 17:04:42) 本稿では上記の環境で行ったものを記載していますので、他の環境では設定が異なる場合もあるかと思いますのでご注意ください。 1. Sparkバイナリのダウンロード&配置 http://spark.apache.org/downloads.html から s
Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
Spark-sqlでHiveのメタストアを使う - Qiita
Amazon EMRとかだと最初から設定されているので手間が無いのですが、Azure HDInsightとかでは紐付けされてないので、その方法。 設定 とは言え簡単です。 基本的には、\$HIVE_HOME/conf/hive-site.xmlの中のhive.metastore.urisプロパティをコピーして、\$SPARK_HOME/conf/hive-site.xmlとして保存するだけ。 情報によってはhive-site.xmlをまんまコピーすればよい的な記述もあるのですが、HDInsightではいろいろな記述がhive-site.xmlにされており、そのままコピーしただけでは、無理でした。 hive.metastore.urisの確認 HDInsightで\$HIVE_HOMEは、/usr/hdp/current/hive-client/になりますので、/usr/hdp/curren
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
pysparkでデータハンドリングする時によく使うやつメモ - Qiita
この記事について pysparkのデータハンドリングでよく使うものをスニペット的にまとめていく。随時追記中。 勉強しながら書いているので網羅的でないのはご容赦を。 Databricks上での実行、sparkは2.3.0以降, pythonは3.6以降を利用することを想定。 既存データからDataFrameの作成 # csvk形式1(spark DataFrameから書き出されたデータなど、データが複数にまたがっている場合) df = spark.read.csv("s3://my-backet/my-data/*.csv") # csv形式1(単一のファイルの場合。そもそもあまりない状況だと思うが…。状況にもよるが後にrepartion()実行を推奨) df = spark.read.csv("s3://my-backet/my-data/data.csv") # parquet形式 df
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
PySparkで学習済みのscikit-learnのモデルを使う - Qiita
やりたいこと Sparkで機械学習といえばMLlibだけど、まだまだscikit-learnには機能面で劣っているように思えます。例えば、scikit-learnでは学習時に正例と負例の数が不均等な場合の補正とかできますが、mllibの1.5ではまだそのような機能はありません1。こんな時にメモリに乗る程度のデータで事前にscikit-learnで学習器を作成しておき、それをpysparkで大規模データの予測に使用できるとsklearnとsparkの両者のメリットが活かせるのではと思っています。 Let's Try 方針 データをndarrayのRDDに変換し、RDDのmapで学習済みのモデルのpredictに渡せばいいのですが、そのままやると関数呼び出しのオーバーヘッドが大きそうなのである程度の大きさのバッチ単位で処理したいと思います。 事前準備 Anaconda等のscikit-lear
Spark + Kubernetes Docker on SoftLayer by Rancher - Qiita
Spark Summit 2016 San Franciscoが終わったというところで、RancherというDockerコンテナ管理ツールを使って、SoftLayer上にkubernetesを利用したSparkのクラスタ環境を簡単に構築してみた記録です。 まずは、それぞれの概要を記します。 Rancherは、Dockerイメージとして配布されているコンテナやクラスタの管理をWebUIで簡単に行えるオープンソースのツールです。 SoftLayer、GCP、AWS、Azure、DigtalOcean、rackspaceといった、各種クラウドとのコンテナ連携が可能です。 2016年3月にバージョン1.0になり、Kubernetes、DockerSwarm、Mesos等のクラスタ環境管理機能が追加されました。 公式サイト：http://rancher.com/ Sparkは、Hadoop同様の分散
（翻訳）2017年の展望: pandas, Arrow, Feather, Parquet, Spark, Ibis - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/outlook-for-2017/ ） 2016/12/27 Python dataの開発に関して、2017はエキサイティングな年になりそうです。このポストでは、私から提供できそうなものについて書いていきます。それぞれのピースを全体としてどうまとめていくつもりなのか、詳しくは今後のポストで書いていきます。2016年は開発とPython for Data Analysisの第2版の作業で完全に手一杯でblogはあまり書けませんでした。2017
1.Spark1.5でSparkStreaming開発 [こと始め編] - Qiita
紹介 この投稿は、Advent Calendar 2015 .. NextGen DistributedComputing system をキッカケにして初めています！ Advent Calendar１日目の記事です。 方針について Spark、SparkStreamingが初めての方でも順を追っていただければスムーズに理解できるよう書きたいと思います。 開発はScalaベースです。Spark処理を書くためにScalaガッツり使いこなせないと分からないわけではないですが、 基本的なことは必要かと思います。 Scala基礎を習得するためには下記リンク先を参照することをお勧めいたします。 https://gist.github.com/scova0731/2c405ea55488d804b366 SparkStreamingの紹介 SparkStreamingとは Sparkコアの拡張モジュー
![1.Spark1.5でSparkStreaming開発 [こと始め編] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4953dd94491ec3ab8aedac5a1eb72ce3289a4eca/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9MS5TcGFyazEuNSVFMyU4MSVBN1NwYXJrU3RyZWFtaW5nJUU5JTk2JThCJUU3JTk5JUJBJTIwJTVCJUUzJTgxJTkzJUUzJTgxJUE4JUU1JUE3JThCJUUzJTgyJTgxJUU3JUI3JUE4JTVEJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkNtaWRkbGUmcz02N2E5YjM3MmNiM2Y1MzI2MjE3YmQ2YWFjYmVmM2FmMw%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa2F6MzI4NCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZWIzYTY4NTkwZDYxOGU5ZTBjZTMyZDU5OGExYjRjNWY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7e651b00f25f2a26bbfa328f0225ec0e)
[翻訳] Spark Architecture: Shuffle - Qiita
TungstenのShuffleまでカバーされていて、感動してしまったので、翻訳（意訳）してみました。 元記事: Spark Architecture: Shuffle これは Apache Spark のアーキテクチャに関する2本目の記事です。今回は、Spark デザインの中で、もっと面白い Shuffle について詳しく紹介します。前回の記事は、Spark のアーキテクチャとメモリ管理についてでした。 一般的に Shuffle とはなんでしょうか？ 電話の履歴リストがテーブルにあり、それぞれの日にどのくらい電話があったかを数える場合を考えてください。この場合は、各レコードを"day"をキーにして（それぞれの電話の回数として）バリューを"1"として変換します。この処理の後、各キーごとのバリューを合計することでそれぞれの日の電話の回数が得られます。しかし、データがクラスタに分散して保存され
![[翻訳] Spark Architecture: Shuffle - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bd81ca434bb5fe9eea5e0e82ee336171aa0a0147/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwU3BhcmslMjBBcmNoaXRlY3R1cmUlM0ElMjBTaHVmZmxlJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00MTMxMWM2YWVlMzZiMTA1NDljMDBmNDU0ODJhMTJjZg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwZ2l3YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OThhMTZjYmUyOGVmOTRkNzM5NWUzZmQ2MzlkMTQ1OWY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D1bfb5f55aaae7dcb904ce3da67069c50)
Spark + kuromoji + D3.js で 簡単に「NHKつぶやきビッグデータ」を作る - Qiita
NHKつぶやきビッグデータとは日本語の全てのツイートをデイリーで集計しその日に一番つぶやかれている単語をバブルチャートで紹介するNHKの番組です。 D3.js というJSのライブラリで見た目が似たようなモノは簡単に作れます。 ということでプログラマーじゃなくても簡単に実行でき、本当にビッグになった時にも使える「NHKつぶやきビッグデータ」を作ってみます。 Inazuma システム構成図 今回作ったプログラム Inazuma （プログラム全体）https://github.com/AKB428/inazuma maki (Twitterデータ収集) https://github.com/AKB428/maki 構成ソフトウェア Oracle JDK http://www.oracle.com/technetwork/java/javase/downloads/index.html sbt (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで動かしてみるSpark入門 - Qiita