日本語形態素解析ライブラリ Kuromoji のコマンドライン用インターフェイスを書いた - ひだまりソケットは壊れない
Java で書かれた日本語形態素解析ライブラリ Kuromoji を Perl から使ってみたいなー、と思って、別の言語のプログラムから使いやすいようなインターフェイスを書きました。 Kuromoji について kuromoji - japanese morphological analyzer Java で書かれたオープンソースの日本語の形態素解析ライブラリです。 検索用のライブラリらしくて、Apache Lucene と Apache Solr に組み込まれているらしいです。 もちろん検索エンジンとは独立して利用することも可能です。 独立して使用する場合は、単に jar ファイルをダウンロードしてきて Java のライブラリパスに追加するだけ (あるいは公開されている Maven リポジトリを使用して依存関係を解決するだけ) で形態素解析できるようになります。 便利ですね。 Java
Lucene/SolrをJava 7で使うときの注意（あるいはJava 6以前でもホットスポットのバグを踏む可能性あり） | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Luceneの曖昧検索を100倍高速化したアルゴリズム - nokunoの日記
@nobu_k さんのつぶやきでこのエントリを知りました。Changing Bits: Lucene’s FuzzyQuery is 100 times faster in 4.0Luceneで曖昧検索を効率化した話です。 最初の実装では、転置インデックスを全探索して編集距離がN以下の単語を拾っていたレーベンシュタインオートマトンという、編集距離がN以下の単語のみをアクセプトするオートマトンを利用することにした 単語ごとに構築したレーベンシュタインオートマトンをマージするという操作が必要になるが、なかなかうまくいかなかった 難解な論文を見つけたが、実装は難しかった良いライブラリを見つけたので、PythonからJavaに移植した 最後に1つだけ残ったバグは、移植の失敗ではなく元ライブラリのバグだった。報告すると1日で直ってきた。この前のエントリでは、有限状態トランスデューサを使った辞書の圧縮
オープンソース Web 検索エンジン Apache Nutch の概要 - 木曜不足
Apache Nutch はオープンソースの Web 検索エンジン。 今年になってバージョン 1.0 が出て、Apache の TLP(トップレベルプロジェクト) になった。現在最新は v1.2。 Apache Nutch http://nutch.apache.org/ 乱暴に言うと、「検索エンジン Lucene ＋全文検索 Solr ＋ Web クローラー＋スコアリング(Page Rank)＋分散実行の仕組み」が Nutch。 ちなみに検索インデックスを作成＆格納するための mapper / reducer および分散ファイルシステムが Nutch から spin out したのが話題の Hadoop。 の割りには知名度が低い気がするのは、Web 検索エンジンを作りたいという要求が少ないせい？(サイト内全文検索なら Solr でいい) プラグインの組み合わせで virtical sea
LinkedInが開発したリアルタイム検索システム·Zoie MOONGIFT
LinkedInは最近4,500万ユーザを突破した世界最大の規模のビジネスSNSだ。SNSというとFacebookに注目が集まるが、LinkedInも様々な試みが行われており非常に興味深いシステムになっている。ZoieはLinkedInの開発した検索エンジンになっている。 シンプルなインタフェース 最近流行のリアルタイム性を取り入れ、実際に彼らのシステムで使われている。そんな実用性の高いシステムがオープンソースになっているのだ。 今回紹介するオープンソース・ソフトウェアはZoie、Apache Luceneをベースにした検索エンジンだ。 ZoieはApache Luceneをベースに開発されておりJavaで作られている。検索対象を追加すると即座に検索結果に反映されるようになっており、インデックスの再構築を待たなくて良い。またそのインデックスの再構築は検索パフォーマンスに影響を与えないように
Lucene 2.4とLucene 2.0のインデックス構築速度比較 - kaisehのブログ
Luceneは、こちらのベンチマークなどを見る限り、Sennaなど他の全文検索エンジンに比べて相当遅いとされているようです。 上記ページのベンチマークではLucene 2.0が使われています。僕も数年前にLucene 2.0を使ったことがあって、それ以降はLuceneに触れていなかったんですが、最近のバージョンはパフォーマンスが大幅に改善されているそうなので、どれくらい速くなったのか、インデックス作成速度を比較してみました。 比較に使ったのはLucene 2.4.1（2009/03）とLucene 2.0.0（2006/05）です。以下の条件でインデックス作成時間を計測しました。 データ: 日本語版Wikipediaのダンプから先頭20万記事 インデックス形式: 記事タイトル: Store.YES, Index.ANALYZED（元文字列＋インデックス） 記事本文: Store.COMPR
livedoor Techブログ : 全文検索エンジン lucene(ルシーン) を使ってみた
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lucene Solr Revolution 2013 - Dublin Presentations | lucenerevolution.org
[Apache-SVN] Index of /lucene/dev/branches/realtime_search