Mahoutを使ってみる | mwSoft
概要 とりあえずMahoutをEclipse上で動かしてみる。 その後、Mavenでのインストールを実行し、Hadoop（擬似分散モード）と絡めて動かしてみる。 Hadoopのインストール手順については扱わない。 前提条件 前提条件として、Mavenが入っている必要がある。MavenはUbuntuならapt-get、RHEL系ならyumで入る。Cygwinの場合は公式サイトから落としてきてパスを通す。 Mahoutは最新の0.7のソースを使ってみる。 CDHで入れるという手もある。若干バージョンは古い（CDH3で0.5、CDH4で0.6）けど安定はしてるはず。 CDHの場合は、レポジトリの設定をCDH用のにする。 Eclipseのプロジェクトを作成する まずはEclipseでMahoutが動くプロジェクトを作成する。 Eclipseはm2e（MavenのEclipseプラグイン）がデフォル
今度はMahoutでクラスタリング(ソース編) - 都元ダイスケ IT-PRESS
Mahoutシリーズを最初から読む場合はこちらApache Mahoutで機械学習してみるべ - 都元ダイスケ IT-PRESS。前回はこちら今度はMahoutでクラスタリング - 都元ダイスケ IT-PRESS。 準備 まずmvnの依存設定を。以前と同じようにmahout-coreは要ります。それに加えて*1slf4jとlogback*2、そしてcommons-io*3を入れておきます。 pom.xml <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-core</artifactId> <version>0.4</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifa
文書をクラスタリングする | 774::Blog
人間、生きてるといろんな情報と出会い、それらをクラスタリングしたくなるのがこの世の常である。機械学習ライブラリは一から自分で実装するよりはすでに実績のあるものを利用するのが良いだろう。まずは Mahout を使ってみる。 テキストコーパスの取得 まずはテキストコーパスを用意する。実験なので無難に青空文庫とかでもいいのだけど、いますぐ分析したい文書があるならそれを使えば良い。君は日頃収集しているソーシャルネットワークの情報を使ってもいいし、運営しているサービスに寄せられたユーザーの声を利用してもいい。 ちなみにいい話判定器に格納されたいい話を使うなんてのも一興である。 形態素解析 我々は日本人である。日本語文書は英語のように単語どうしが空白で区切られていない。そこで形態素解析エンジンを利用する必要があるし、ここではいわゆる分かち書きをする。 シェルスクリプトでの単純な例。 for file
Mahoutのseqdirectoryとseq2sparseを使って文書クラスタリング | mwSoft
概要 Mahoutのexamples/binの下には、cluster-reuters.shというロイターの記事をクラスタリングする処理を実演してくれるシェルがいる。 このシェルでは、seqdirectoryとseq2sparseという2つのコマンドを使って、テキスト文書をVectorに変換している。 これを参考にして、青空文庫から取ってきたいくつかの文書をクラスタリングして遊んでみる。 Mahoutのバージョンは0.7。 bin/mahout seqdirectoryは、テキストファイルの入ったディレクトリから、シーケンスファイルを生成する。 とりあえず下記のようなテキストファイルを適当なディレクトリ（仮に/tmp/tekitou/sample.txtとする）に入れて、実行してみる。 我輩はプログラマである。 仕事はしていない。 ファイルはHDFSに置く。 $ hadoop fs -put
Log In - Apache Software Foundation
Powered by a free Atlassian Confluence Open Source Project License granted to Apache Software Foundation. Evaluate Confluence today. Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.19.20 Printed by Atlassian Confluence 7.19.20 Report
Mahoutでk-meansしてみる | mwSoft
概要 Mahout IN Actionのコードを頼りに、まずはコマンドとか使わずにJavaのコードからk-meansを実行してみる。 その後、bin/mahout kmeansコマンドを使って同じことをやってみる。 Mahout0.7を利用しているので、バージョンによってはクラス名が若干違うこととかあるかも。Klusterとか。 クラスタリングするデータ 以下のような簡易データを3つにクラスタリングしてみる。 1,1 1,2 2,1 4,4 4,5 5,6 7,9 8,9,8,8 上記データをRでkmeansしてplotすると、下記のようになる。重心の数は3つ。 x = matrix( c(1, 1, 2, 4, 4, 5, 7, 8, 8, 1, 2, 1, 4, 5, 6, 9, 9, 8), ncol=2 ) cl = kmeans(x, 3) plot(x, col=cl$clus
MahoutでCanopy → k-meansしてみる | mwSoft
概要 CanopyでクラスタリングしてできたClusterを、k-meansの初期値として利用するありがちな一連の攻防をやってみる。 とりあえず簡易コードをEclipse上で動かしてみる。その後、コマンドからも叩いてみる。 クラスタリングするデータ わかりやすいように四隅＋中央の5つに分類されそうなデータを用意する。 1,1 1,2 0,3 9,0 8,1 7,0 0,8 2,9 3,8 9,9 8,7 7,9 5,5 3,5 5,6 上記データをRでplotしてみる。 > x = matrix( c(1,1,0,9,8,7,0,2,3,9,8,7,5,3,5,1,2,3,0,1,0,8,9,8,9,7,9,5,5,6), ncol=2 ) > plot(x, pch=16, xlim=c(0, 10), ylim=c(0, 10), col="blue") 引数によって、クラスタ数が5つ
Mahout: Canopy and K-means Clustering - hamadakoichi blog
MahoutのCanopyとK-Meansを用い、Canopy生成しCanopy Centroidを用いたK-Means Clustering実行できる Driverの実装法を解説します。次のようなコマンドライン呼び出しで、質の良い Canopy+K-Meansの一連のClusteringの手続きを実行できます。以下では、org.apache.mahout.clustering.canopykmeans packageを作り、追加実装しコンパイルしたJobファイルを $MAHOUT_HOME/bin/mahout-core-0.4-job.jar に置いています。MahoutのVersionは最新の0.4です。 実行例 $HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/bin/mahout-core-0.4-job.jar \ org.apache.maho
試すのが難しい―機械学習の常識はMahoutで変わる
ビッグデータ時代―なぜ、いま機械学習なのか Apache Hadoop（以下、Hadoop）の登場で、今まで捨てていたデータ、貯めるだけで処理しきれなかったデータを活用できるようになりました。 活用手段として最近とみに注目されている技術が「機械学習」であり、Hadoopの強みを生かし簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを動かしてみることで、機械学習の常識を身に付けます。 そもそも、機械学習とは？ 機械学習とは、一定のデータをコンピュータ・プログラムに「学習」させ（すなわち、そのデータに潜むパターンや規則性を表す「モデル」を自動的に構築させ）、他のデータにそのモデルを適用すれば、あたかも人間のように複雑で柔軟な判断が行えるようにするという試みです。 機械学習をビジネスに活用した例は、レコメンド（ユーザーや商品
Apache Mahout - Overview
For Creating Scalable Performant Machine Learning Applications Download Mahout Apache Mahout(TM) is a distributed linear algebra framework and mathematically expressive Scala DSL designed to let mathematicians, statisticians, and data scientists quickly implement their own algorithms. Apache Spark is the recommended out-of-the-box distributed back-end, or can be extended to other distributed backe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tdunning/MiA: Mahout in Action Example Code
Apache Mahout: A clustering example | In Cloud We Trust - 8KMiles
IBM Developer
InfoQ: Apache Mahout: 拡張性の高い機械学習アルゴリズム