1台のマシンで並列実行するためのMapReduceフレームワークを作ってみた - きしだのHatena
ブックマークのコメントに 1台でもGbyte単位のデータを処理可能なプログラムを簡単に書けるのは十分なメリットだと思う。 とあったので、ついカッとなって作ってみた。 サンプルは前と同じく、クラスがJavaソース中でimportされている回数を数えるもの。 mapreduceメソッドを適当に呼び出せばおっけーです。 こんな感じの結果ファイルが生成されました。 java.io.FileOutputStream 1 java.io.FileReader 1 java.awt.Graphics 1 java.io.Reader 1 java.awt.event.* 3 java.io.BufferedReader 3 書いてみたら動いたというレベルなので、実際に使うにはちゃんと例外処理とかをやってください。 ソースはこんな感じ import java.io.*; import java.lang.
中しまのメモ
やっぱり並列処理が鍵 近年、CPUの進化が高速化から並列化へとシフトしつつあることは明らかで、並列処理についてきちっと学ばなければならないと思っている。ここ数年で関数型言語がかなり見直されているのも、並列処理への適性が大きな理由の一つだろう。今や古さの象徴として語られることが多くなってきたJavaも、並列処理をより強くサポートする方向へと進んでいる。以下は一年前の記事だけど、端的にそれが語られている。 「Javaに並列処理と関数型言語の要素を」、ティム・ブレイ氏 -@IT 関数型言語は、一般的な言語とコードの書き方が大きく異なるものの、いずれJavaに関数型プログラミングの要素を入れていくことも必要だとブレイ氏は語る。 さて、それから一年が経った。どんなのものが出てきたのか。 分割統治法（fork/join） IBMのdeveloperWorksに、Java SE7にて追加される並列処理機
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
IBM Related Japanese technical documents - Code Patterns, Learning Path, Tutorials, etc. Please open new issue/pull requests in either English or Japanese if you would have any feedback or you would like to contribute this repo. We provide mainly "Japanese contents" by markdown text. IBM Developerの最新情報は https://developer.ibm.com/ にアクセスし、英語のコンテンツを参照してください。 このリポジトリは、IBM Developer Japan Webサイトで公開していた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
新しいJavaの並行処理機能: Phasers
IBM Developer
TerracottaでMaster-Workerパターンを使う
Java の理論と実践: フォークを活用する、第 2 回 Java 7のParallelArrayクラスを使ってソートと検索の速度を上げる
Java の理論と実践: Java 7で登場するフォーク/ジョインのフレームワークを使って細粒度並列処理の活用方法を学ぶ
Java 7におけるFork/Joinとの並列性
A Diary Which Heads for Convergence (Naist branch).(2007-09-22)