[B! Hadoop] advblogのブックマーク

Hadoopでレコメンドシステムを作ろう記事一覧 | gihyo.jp

advblog 2012/06/06

リンク

大規模分散技術勉強会 in 名古屋

大規模分散技術勉強会 in 名古屋トップページページ一覧メンバー編集トップページ最終更新：ID:rVXbmd/J5Q 2011年06月20日(月) 17:17:23履歴 Tweet このグループについて名古屋で大規模分散技術について勉強するグループです。現在はHadoop本読書会がメインの活動です。本グループの略称は『大名古屋』です。異論は認めません。 Twitterのハッシュタグは #dainagoya です。グループ参加方法参加にあたり特別なことは必要ありませんが、大規模分散技術勉強会 in 名古屋 | Google グループに登録して頂くと、勉強会の最新情報やディスカッションをご覧頂けます。次回スケジュール 6月頃からオンラインゲームを支える技術読書会を開始しようかなと思ってましたが、仕事が忙しすぎて手が回らず。。。

advblog 2012/01/07

Hadoop

リンク

Hadoopを用いた大規模ログ解析

JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー（NTTデータテクノロジーカンファレンス ...NTT DATA Techno logy & Innovation

advblog 2011/04/11

Hadoop

リンク

Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会（第4回）

@nsiena どうやら、今夜の座談会に行く余裕がなさそう。泣く泣くキャンセルしておきます /_; ustってあるのでしたっけ……? #hadoopmodeling 2011-03-28 14:14:11 Hidenori nhide Nakamura @nhide はい。Ust あります。追ってTweetします。 @nsiena: どうやら、今夜の座談会に行く余裕がなさそう。泣く泣くキャンセルしておきます /_; ustってあるのでしたっけ……? #hadoopmodeling 2011-03-28 16:53:07

advblog 2011/03/29

Hadoop

リンク

「次世代Hadoopの開発に着手する」Yahoo!が宣言、数万台以上のクラスタをサポートへ

米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。 Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。 Apache Hadoopコミュニティと協力して開発を進める Yahoo!はブログで次のように書いています。 The c

advblog 2011/02/21

リンク

連載: IBM Watson Workspace #鬼わかアプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか解説（前編）

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant techno logies such as generative AI, data science, AI, and open source.

advblog 2011/02/19

Hadoop
Java

リンク

The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog

Overview In the Big Data business running fewer larger clusters is cheaper than running more small clusters. Larger clusters also process larger data sets and support more jobs and users. The Apache Hadoop MapReduce framework has hit a scalability limit around 4,000 machines. We are developing the next generation of Apache Hadoop MapReduce that factors the framework into a generic resource schedu

advblog 2011/02/15

Hadoop

リンク

Hadoopの可用性について（私訳） - developer’s delight

この記事はClouderaのBlogの記事”Hadoop Availability | Apache Hadoop for the Enterprise | Cloudera”の私的翻訳です。Hadoopの可用性については興味のある方も多いと思いますので、読むついでに訳してみました。勢いで訳したので質に関しては責任を持てませんのでよろしくお願いします。間違いなどがありましたらご指摘いただければ助かります。(id:kkawamura)Apache Hadoopのメーリングリストでよくある質問は、可用性を保つためにどうするか？というものです。この記事では、Hadoopのコンテキストでの可用性について見ていき、進行中の開発の方向性を示します。背景Hadoopの可用性を議論するとき、人はよくNameNodeがHDFSにおいて単一故障点であるため、NameNodeから話をはじめます。そしてHadoo

advblog 2011/02/13

Hadoop

リンク

ウルシステムズ、業界初、基幹バッチ用のHadoopフレームワーク「Asakusa」を開発、オープンソース化して提供開始

ウルシステムズ、業界初、基幹バッチ用のHadoopフレームワーク「Asakusa」を開発、オープンソース化して提供開始ウルシステムズ株式会社（本社：東京都中央区、代表取締役社長：漆原茂、以下ウルシステムズ）は、基幹業務システムのバッチを高速処理するためのソフトウェアフレームワーク「Asakusa Framework（以下、Asakusa）」を業界で初めて開発、オープンソース化して提供することを発表します。クラウド技術の普及が進むと共に、企業内システムへの適用の検討が進んでいます。特にHadoop（注1）は、オープンソースの分散処理基盤ソフトウェアとして注目を浴びており、大容量データを多数のサーバーに分散し並列処理させることで高速なデータ処理を実現できます。しかしこれまでは、Webデータの分析や消費者の行動解析などのB2C分野での利用がほとんどであり、企業の基幹業務システムに適用す

advblog 2011/02/10

Hadoop

リンク

『大規模分散技術勉強会 in 名古屋』を立ち上げ - terurouメモ

先日、「名古屋の分散処理技術関係のコミュニティ盛り上がってないよねー」という煽り記事を書いたのですが、煽るだけなのもアレですので、実際に『大規模分散技術勉強会 in 名古屋』を立ち上げました。大規模分散技術勉強会 in 名古屋 | Google Groups まだGoogle Groupを作っただけで、活動の詳細については何も決めてないのですが、Hadoop、MapReduce、KVS、NoSQL、Cassandraなど、その手の技術に興味のある方は一緒に勉強しましょう！とりあえず手始めにオライリーのHadoop本の読書会から手を付けようかなと思ってます。あと、『大規模分散技術勉強会 in 名古屋』の略称は『大名古屋』となりますので、ご了承願います。本勉強会に所属すると、もれなく以下のようなことができるようになります。「自己紹介をお願いします」『大名古屋のterurouです！（キリ

advblog 2010/05/25

リンク

Legacy Communities - IBM Community

If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o

advblog 2010/05/10

リンク

KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog

KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収

advblog 2009/11/09

リンク

Running Hadoop On Ubuntu Linux (Multi-Node Cluster) - Michael G. Noll

What we want to do In this tutorial, I will describe the required steps for setting up a multi-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault-tolera

advblog 2008/12/07

リンク

HBase 入門 (1) - こども(てれび)

Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。使用するバージョンは Hadoop 0.17.2.1、HBase 0.2.1 です。 0. 参考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop のセットアップ http: