Powering Amazon Redshift Analytics with Apache Spark and Amazon Machine Learning | Amazon Web Services
AWS Big Data Blog Powering Amazon Redshift Analytics with Apache Spark and Amazon Machine Learning Air travel can be stressful due to the many factors that are simply out of airline passengers’ control. As passengers, we want to minimize this stress as much as we can. We can do this by using past data to make predictions about how likely a flight will be delayed based on the time of day or the air
AWS Solutions Architect ブログ
Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 Amazonのパーソナライゼーションでは、お客様毎の製品レコメンデーションを生成するためにニューラルネットワークを使っています。Amazonの製品カタログは、あるお客様が購入した製品の数に比較して非常に巨大なので、データセットは極端に疎になってしまいます。そして、お客様の数と製品の数は何億にものぼるため、我々のニューラルネットワークのモデルは複数のGPUで分散しなければ、空間や時間の制約を満たすことができません。 そのため、GPU上で動作するDSSTNE (the Deep Scalable Sparse Tensor Neural Engine)を開発しオープンソースにしました。我々はDSSTNEを使ってニューラルネットワークを学習しレコメンデーションを生成していて、ECのウェブサイト
「初めてのSpark」刊行記念 Spark Meetup 2015｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 9月9日 本日はよろしくお願いいたします 満員御礼；沢山のお申し込みを頂きありがとうございました。 今回可能な限り受付枠の拡大を図りましたお申込者全員を収用する事が出来ず、まだまだ沢山の方々がキャンセル持ちの状況にあります。申し訳ございません。 今回のMeetupに代わるイベントとして11月10日に開催されるCloudera World Tokyo 2015をご案内させていただきます。 Hadoopの生みの親であるDoug Cuttingによる基調講演や今回のMeetup以上にSparkのテクニカルセッションや事例などご紹介させて頂く内容の濃いイベントになる予定です。是非お申し込みの上ご参加いただければ幸いです。 Cloudera World Tokyo 2015のご案内とお申込みはこちら。 https://clouderaworld.tokyo/ Cloudera株式会社
Amazon EMR 4.0.0で始める Apache Spark 1.4.1 | DevelopersIO
Amazon EMRがApache Sparkをサポート つい先日のニュースで、Amazon EMRがApache Sparkをサポートすることが発表されました。また、昨日、最新のSpark1.4.1がサポートされたことも発表されました。そこで、今回は早速使ってみたいと思います！ New – Apache Spark on Amazon EMR セットアップ手順 Amazon EMRのセットアップでSparkを指定できますので、早速やってみましょう。 インストールするアプリケーションの指定 EMRでは、コンソールで利用するアプリケーションを指定してインストールすることができます。今回は、SQLライクにMapReduceを記述できるHiveとPig、そしてSpark、さらに、Mahautもインストールします。 ノードの指定 EMRは、司令塔となるMasterノードと、作業をするSlaveノー
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
2015年のHadoopとビッグデータ活用 | gihyo.jp
あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行
KeystoneML
KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark. We contributed to the design of spark.ml during the development of KeystoneML, so if you’re familiar with spark.ml then you’ll recognize some shared concepts, but there are a few important differences, part
RDD Programming Guide - Spark 3.5.0 Documentation
RDD Programming Guide Overview Linking with Spark Initializing Spark Using the Shell Resilient Distributed Datasets (RDDs) Parallelized Collections External Datasets RDD Operations Basics Passing Functions to Spark Understanding closures Example Local vs. cluster modes Printing elements of an RDD Working with Key-Value Pairs Transformations Actions Shuffle operations Background Performance Impact
私が GraphX を推す理由 - TEPPEI STUDIO
この記事は、Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの21日目の記事です。 なぜ GraphX を推すのか 私は、GraphX Advent Calendar 2014 - Adventarを立ち上げて「全部俺」状態で頑張っています（だいぶ遅延を見せていますが…）。もしやと思っていましたが、誰も参加してきてくれる人がおらず、ブログのアクセスも全く伸びません（笑）ブログに限らず、GraphXの情報自体、非常に少ないです。そのため、ブログを書いて、情報量自体を増やしていこうとしているわけですが、なぜ誰もろくに見向きもしない GraphX という技術に、私はここまで熱くなっているのでしょうか。この記事は GraphX のアドベントカレンダーではないので、一度、改めて、私が GraphX に感じる魅力、それをどうしてみんなに知って
Spark, SQL on Hadoop etc.のカレンダー | Advent Calendar 2014 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
Learning Spark
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Book description Data in all domains is getting bigger. How can you work with it efficiently? Recently updated for Spark 1.3, this book introduces Apache Spark, the open source cluster
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビッグデータ処理ソフト「Spark」で深層学習、米中企業が競う
R使いがSparkを使ったら
Introducing Window Functions in Spark SQL
Apache Spark™ - Unified Engine for large-scale data analytics