Google App EngineでLuceneを使ってN-gram全文検索を行ってみる - そこはかとなく書くよ。
全文検索エンジンLuceneをGoogle App Engine/Javaのslim3の上で動かしてみました。indexの作成には、N-gram を使っています。 準備 まずは、Luceneの最新版を取得します。今回は3.0.2を使用しました。 lib/lucene-core contrib/contrib/analyzers/common/lucene-analyzers-3.0.2 の二つのjarファイルをprojectの war/WEB-INF/lib にコピーし、build pathに追加します。 GAE特有の問題に対処 Luceneを使うだけであればjarをいれておけばよいのですが、GAE特有の問題がいくつかあります。 Indexの取り扱い Luceneはindexを保持し、このindexを元に文書を検索します。そのため、このindexをどこにどうやって保存するかが問題となります
Google App Engineで全文検索 - 星屑日記
調べた限りGAEには（日本語を）全文検索する機能はついてない。なのでちょっくら作ってみました。一応動くのは出来たけど、いろいろ不満な点が多い。転置インデックスはN-gramでN=2で作成。サンプルをサイトで公開してますが、検索は完全一致で結果の順位は考慮してません。最もシンプルなシステムで、検索語句を入力すると、Datastoreに格納されているその語句が含まれる文章を表示し、検索語句を強調表示します。また、100文字以下の文章ならDatastoreに格納できます。何故100文字以下かというと、文字数が多くなるとそれに伴い転置インデックスの作成量を増えていきます。となると、処理時間も長くなってGAEの処理時間オーバーのエラーが発生してしまう。うーん、もっと効率のよい転置インデックスの作成方法がないものか。全文検索の心臓部分のコードは以下の通り。GitHubにも置いてます。 http://g
GAE/J使用メモ、Datastore GAE編 : CB NANASHI管理人ブログ
2009年04月26日20:34 カテゴリGoogle App Engine GAE/J使用メモ、Datastore GAE編 Google App Engine上のDatastoreに関してです。 indexの作成には相当長い時間がかかる データ量に関わらず（まったくデータがなくても）長い時間がかかるようだ。作成中はApp Engine管理画面のIndexesに"building"と表示され完了すると"Serving"となる。cbnanashi@GAE/Jでも完了には1〜2時間かかった。indexが完成するまでDatastoreには保存できないのでアプリケーションの実運用を開始したらGAE/Jにあるようにバージョン番号を付けるか、あらかじめindexだけをuploadしておくのがよさそう。 indexを削除するツールはPythonにはあるがJavaにはない。ただし不要なindexが残って
Index of /sources/win32
Index of /sources/win32 NameLast modifiedSizeDescription Parent Directory - 64bit/07-Dec-2015 13:00 - Delphi/03-May-2010 14:00 - iconv-1.9.2.win32.zip17-Aug-2008 18:29 1.3M libxml2-2.6.22.win32.zip03-Jan-2006 18:03 1.5M libxml2-2.6.30+.win32.zip21-Jan-2008 19:13 2.6M libxml2-2.6.30.win32.zip27-Aug-2007 19:17 2.6M libxml2-2.6.32+.win32.zip17-Aug-2008 18:06 2.6M libxml2-2.7.1.win32.zip14-Sep-2008 2
インデックス分割ツール IndexSplitter (3.0) | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
