Hadoopが変えるデータとヒトへのアプローチ ―「Hadoop Summit 2016 Tokyo」レポート | gihyo.jp
Hadoopが変えるデータとヒトへのアプローチ ―「Hadoop Summit 2016 Tokyo」レポート 10月26、27日の2日間、東京・新宿ヒルトンにおいてホートンワークスジャパン主催のカンファレンス「Hadoop Summit 2016 Tokyo」が行われました。Hadoopカンファレンスとしてはグローバルでもっとも規模の大きい「Hadoop Summit（主催: Hortonworks）」の初の東京開催であり、国内ではめずらしい有料のITイベントということもあって、業界関係者からはその成否が注目されていたカンファレンスでもあります。本稿ではこのイベントの全体像を振り返りながら、IT、そしてビジネスの世界におけるHadoopの位置づけをあらためて考えてみたいと思います。 Hadoop Summit Tokyoとは gihyo.jpの読者であればご存知の方も多いでしょうが、
Beyond Hadoop ─Databricks共同創業者に訊くApache Sparkのポテンシャル | gihyo.jp
いまいちばん勢いのあるオープンソースプロダクトとして注目度の高いApache Spark。2月8日、東京・大井町きゅりあんで行われた「Hadoop / Spark Conference Japan 2016」は、国内で開催される初めてのSparkカンファレンスということもあり、1300人を超える登録者を集め、盛況のうちに幕を閉じました。今回、このカンファレンスの基調講演、そしてSparkセッションに登壇した、Databricks創業者のひとりにしてSparkの3代目リリースマスターでもあるレイノルド・シン（Reynold Xin）氏にインタビューする機会を得たので、その内容をご紹介します。 HadoopはSparkの“原点であり越えるべき目標” ──まずはレイノルドさんご自身の自己紹介をお願いできるでしょうか。Databricksという会社についてもご説明いただければ。 シン氏：僕はDa
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016 2月8日に都内で開催された、HadoopとSparkをテーマにした国内最大のカンファレンス「Hadoop Spark Conference Japan 2016」の基調講演には、Sparkの開発を進めているDatabricksのReynold Xin氏が登壇。 Xin氏は、現在開発が進んでいるSpark 2.0の概要を紹介しました。セッションの内容をダイジェストで紹介します。 Spark 2.0: What's Next DatabricksのReynold Xin氏（写真左）。
マイクロソフト、R言語が使えるデータ分析サーバ「Microsoft R Server」デベロッパーエディションを無償公開。Windows版、Linux版、Hadoop対応、Teradata対応版も
マイクロソフト、R言語が使えるデータ分析サーバ「Microsoft R Server」デベロッパーエディションを無償公開。Windows版、Linux版、Hadoop対応、Teradata対応版も マイクロソフトは昨年1月に買収したRevolution Analytics社のデータ分析ソフトウェアを「Microsoft R Server」としてリリース。あわせて開発者版となる「Microsoft R Server Deverloper Edtion」の無償公開と、オープンソース版のディストリビューションである「Microsoft R Open」の公開を明らかにしました。 Making R the Enterprise Standard for Cross-Platform Analytics, Both On-Premises and in the Cloud - Machine Lear
The 7 most common Hadoop and Spark projects
The 7 most common Hadoop and Spark projects Think you're breaking new ground with your Hadoop project? Odds are it fits neatly into one of these seven common types of projects There's an old axiom that goes something like this: If you offer someone your full support and financial backing to do something different and innovative, they’ll end up doing what everyone else is doing. So it goes with Had
Apache SparkをYARN上で動かしてみる - CLOVER🍀
先ほど、こんなエントリを書きました。 Apache Sparkで、HDFS上のファイルを読み書きする http://d.hatena.ne.jp/Kazuhira/20150802/1438499631 ここで使ったプログラムを、YARN上で動かしてみたいと思います。 SparkをYARN上で動かす時は、yarn-clientとyarn-clusterという2種類の起動方法があるみたいです。 Running Spark on YARN http://spark.apache.org/docs/latest/running-on-yarn.html 参考） Spark on YARN http://kzky.hatenablog.com/entry/2015/01/12/Spark_on_YARN Apache Spark Resource Management and YARN App M
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
Apache Sparkことはじめ - CLOVER🍀
だいぶ今更ながらですが、Apache Sparkを試してみることにしました。前々から、興味がちょっとありまして。 Apache Spark http://spark.apache.org/ Apache Spark の紹介（前半：Sparkのキホン） http://www.slideshare.net/hadoopxnttdata/apache-spark-spark Apache Sparkのご紹介 （後半：技術トピック） http://www.slideshare.net/hadoopxnttdata/apache-spark が、あんまりSpark自体まだよくわかっていないので、ちょっとずつ触りながら感覚をつかめたらいいなーと思っています。 とりあえず、くじけなければ継続テーマにするつもりです（笑）。 では、Hello World的に始めてみたいと思います。 Apache Spark
第6回 データ処理における並列アルゴリズム［1］ | gihyo.jp
はじめに 前回は、データ処理における並列性について説明しました。今回からは数回に渡って、当該データ処理における具体的な並列アルゴリズムについて説明します。まずはその準備として、並列システムの性能指標について見ていきます。 並列システムや並列アルゴリズムにおける性能指標 並列システムや並列アルゴリズムを評価する場合においては、スケーラビリティ（Scalability）という指標が用いられることがあります。スケーラビリティは、仕事量や計算資源などが増加したときの処理能力や性能特性を表すものであり、データ処理におけるスケーラビリティの指標は次の2つに分類することができます。 スピードアップ（Speed-up） スケールアップ（Scale-up） スピードアップは、あるジョブを処理する場合において、当該ジョブを処理する計算機などの計算資源を増やしたときに、当該ジョブの処理するための時間がどの程度低
ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について
ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。 この憤りは、コンテナーと構築済みVMと、それらがもたらす、「信頼」や「アップグレード」の欠如による悲惨な惨劇に対するものだ。 例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。 この手のイケてるツールの中で、古典的なmake
第2回 並列データ処理系の歴史と重要性 | gihyo.jp
はじめに 前回は、本連載の目的や、本連載で扱う並列データ処理の定義について説明しました。今回は、並列データ処理系の歴史や重要性について見ていきます。技術を学ぶうえで、その技術の歴史や重要性について理解しておくことはとても良いことですので、かんたんな読み物を読むつもりでお付き合いください。 並列データ処理系の進展 並列データ処理系における基本的なアルゴリズムや処理方式は、並列データベースと称される並列化された[1]データベースシステムにおける技術に基づいています。 並列データベースに関する研究・開発は、1970年代からの並列データベースマシン（Parallel Database Machine）［1、2、3］と称されるデータベース処理専用の並列計算機に遡ることができます。並列データベースマシンは、データ処理用途にカスタマイズされたプロセッサや記憶装置を用いていたため、必ずしも価格に見合った
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
Spark on elasticsearch-hadoop トライアル - Qiita
この記事は、Elasticsearch Advent Calendar 2014 の20日目のエントリーです。 ハイマニアックな内容ですが、早速はじめます。 概要 elasticsearchには、KibanaやLogstash等と並んで elaticsearch-hadoop というプロダクト（？）があるようです。elasticsearchのTopページに一緒に並んでいました。 この名前を見たとき、脳が混ぜるなきけんと叫んでましたが、触ってる内に杞憂だとわかって、だんだん面白くなってきたので紹介したいと思います。 elasticsearch-hadoopとは プロジェクトの正式名称は、「Elasticsearch for Apache Hadoop」とのこと。 けど、いつもelasticsearch-hadoopって呼ばれています。 出来ること Spark、Hive、PigなどからHDFS
第5回 データアナリティクスがLinkedInの原動力 ─世界のプロフェッショナルをつなぐソーシャルネットのビッグデータ活用術 | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第5回データアナリティクスがLinkedInの原動力 ─世界のプロフェッショナルをつなぐソーシャルネットのビッグデータ活用術 3億人を超えるプロフェッショナルと350万社に上る企業が、日々30億のインタラクションを生成する巨大ソーシャルネットワークLinkedIn。個人と個人、個人と企業をつなぎ、ビジネスの生産性向上と成功をもたらすことをミッションに、2002年の創業以来、劇的な成長を遂げてきました。いまや米国ではLinkedInに登録していないビジネスパーソンはいないとも言われています。 いくつものソーシャルネットワークが生まれ、その多くが淘汰されていった米国において、LinkedInはなぜ"最強のビジネス特化型ソーシャルネットワーク"の地位を獲得できたのでしょうか。その理由のひとつは彼らのデータに対するアプローチにありま
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート | gihyo.jp
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート 7月8日、東京・ベルサール汐留において「Hadoop Conference Japan 2014（主催: 日本Hadoopユーザ会）」が開催されました。2009年の初開催以来、今回で5回目となる同カンファレンスですが、今回の参加登録者数約1,300名のうち、65％（約840名）が初参加とのこと。「Hadoopの裾野の拡がりを確実に感じる」（NTTデータ 濱野賢一朗氏）との言葉通り、HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。 基調講演会場の模様。今回のテーマは「和風」、来場者には扇子が配られ、登壇者は障子をバックにはっぴ姿で講演を行いました 本稿では基調講演の内容をもとに、最初に公開されてから10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JAXenter - Java Development & Software Architecture
IBM Developer
JAXenter - Java Development & Software Architecture
5 ways to add machine learning to Java, JavaScript, and more