Octopress/JekyllでGroongaによる類似文書検索機能を使う
Groonga 2.0.2から類似文書検索機能が使えるようになった。GroongaのRubyバインディングであるRroongaでは2.0.3で同機能への対応がなされている。 Groongaレベルではselect ... --filter カラム名 *S "テキスト"により類似文書検索ができる。このときに指定するカラムは全文検索できるようインデックスを作っておかなければならない。 Rroongaからの使い方は以下のようになる。(Article.bodyに抽出対象のテキストがあるとする。) records = Groonga['Article'].select do |record| record.body.similar_search(article_body) end records.sort([ {key: '_score', order: 'descending'}, ], limit
Groongaを使ったRubyアプリを簡単に配布するためのDocker Rroongaを作った - ブログのおんがえし
Rroonga(GroongaをRubyから簡単に使えるライブラリ)を使ったWebアプリケーションを簡単にDockerコンテナとして配布できるようにするために、DockerHubにgroonga/rroongaをおきました。Honyomi 1.5ですでに使われています。 使い方 DockerファイルのFROMにgoonga/rroongaを指定するだけです。 FROM groonga/rroonga:latest # Add your setting docker-honyomiのDockerfileを読むとなんとなく何をやれば良いか分かるのではないかと思います。 Dockerコンテナを使ってRroongaチュートリアルを実行する Dockerコンテナの使い道はこれだけではありません。File: tutorial — rroonga - ラングバを自身の環境を汚さず安全に試すことができます
「福岡Groonga1」、マジで良かった話 - 坊主が上手にHatenaに坊主のコードを書いた
こちらへ移動しました。 坊主が上手にHatenaに坊主のコードを書いた 福岡初のGroongaイベント福岡Groonga1に参加！ （2015年01月23日（金）19:00〜、at GMOペパボ株式会社 福岡支社） 福岡Groonga1 - Groonga | Doorkeeper まず、すごい人がたくさんいて、驚いた。 ・須藤功平さん(@ktou): Groonga開発者のお一人 ・おんがえしさん(@ongaeshi): MilkodeやHonyomiなどGroonga（Rroonga）を使ったアプリケーション ・近藤 宇智朗さん: パーフェクトRubyの著者のお一人 などなど。。。 <勉強会の流れ> 1. 自己紹介 参加者のみなさん、それぞれ自己紹介。 もう既に、実運用でGroongaを使っている方もいて、後で濃い話を聞けることになる。。。 2. 今日知りたい事 ・参加者のみなさんから
Groonga（Rroonga）利用事例：CrowdWorks Directory（社員名簿＋日報システム）
2014-12-04 Groonga（Rroonga）利用事例：CrowdWorks Directory（社員名簿＋日報システム） Groonga（Rroonga）の利用事例を紹介します。 日本最大級のクラウドソーシングサービスであるCrowdWorksの社内システムCrowdWorks DirectoryでGroongaを使っているとのことです。CrowdWorks Directoryは社員名簿＋日報システムでRubyで実装しているとのことです。RubyにはRroongaというRubyらしいAPIでGroongaを使えるライブラリーがありますが、それを使っているとのことです。 CrowdWorksのCTOである大場さんからコメントをもらったので紹介します。 社員情報と日報の全文検索エンジンとして利用しています。会社の成長にともなって人が増えるなかで毎日提出される日報を高速に検索できていま
Honyomi 1.0 リリース - ブックマーク＆コメント、Web上で本の情報を編集、便利な検索クエリ (デモもあるよ！) - ブログのおんがえし
Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 前回リリースの0.2から大きくジャンプアップして初のメジャーリリースとなります。欲しかった機能が一通り入った感じがしたので1.0リリースとなりました。 ブックマーク＆コメント Web上で本の情報を編集 便利な検索クエリ その他、全体的な使い勝手の改善 デモ 以下のページを立ち上げました。 本読みの図書館 再配布可能な電子書籍を集めて(置いてある書籍はどれも「これ無料で配布していいの？」って位クオリティが高いです ) 全文検索出来るようにしました。 Honyomiを使うとまったく同じ環境を手持ちのpdfをソースにして構築することが出来ます。 ブックマーク＆コメント 気になったページにブックマーク＆コメントを付けられるようになりまし
Groonga(Rroonga)で検索時に特定カラムに重みを付けたい - ブログのおんがえし
例えばあるテーブルに title(タイトル), content(本文), comment(コメント) カラムがあって タイトルには20倍 本文には10倍 の重みを付けたい場合は以下のようにする。 grn.select do |record| record.match("aaa") do |target| (target.title * 20) | (target.content * 10) end end "aaa"の所は検索クエリを指定する。 これでタイトルや本文に"aaa"が含まれる要素が検索結果の上位に表示されるようになる。 参考: [groonga-dev,02944] Rroongaで検索時に特定カラムに重みを付けたい
Rails4.1で全文検索〜rroonga | | Scimpr Blog
RailsでGroongaを使う選択肢Railsから全文検索エンジンGroongaを使うには – mroonga MySQL用のストレージエンジン – textsearch_groonga PostgreSQLでGroongaエンジンを利用した汎用インデックス. – rroonga RubyからGroongaを使うライブラリ その他、ActiveGroongaというライブラリもあるみたい. mroongaやtextsearch_groongaを使えば簡単にActiveRecordから全文検索が使えそう.rroongaで実装すればherokuなどでも全文検索を使うことができる. 今回は、rroongaを使ったサンプルを参考に（というかほぼ丸写しで）一歩一歩実装してみた. サンプルのアプリ記事(Article)という実体にタイトル(String)と内容(Text)という要素
PassengerでRroongaを使ったWebアプリケーションを動かすときにチューニングのコツ - 2014-08-26 - ククログ
RroongaはSQLite3のような手軽さで使えるRuby用の全文検索ライブラリーです。Webアプリケーションに全文検索機能をつけたいときにも便利です。Rubyのリファレンスマニュアルの検索サービスであるるりまサーチもRroongaを使っています。 そんなRroongaをPassengerで動かすときのチューニング方法を紹介します。チューニングすることにより少ないリソースでも高速に動作するようになります。例として、docs.ruby-lang.orgにデプロイされている、るりまサーチを使います。 環境 docs.ruby-lang.orgの環境は次の通りです。 OS: CentOS 6 （/proc/cpuinfoで見える）CPU: Intel(R) Xeon(R) CPU L5630 @ 2.13GHz （/proc/cpuinfoで見える）CPU数: 2つ メモリー: 1GB スワッ
HerokuでRroongaを使う方法 - 2014-05-28 - ククログ
RubyやRailsも使えるPaaSであるHerokuでRroongaを使えるようにしました。これにより、高速な全文検索機能を提供するRubyによるWebアプリケーションをHeroku上で動かすことができるようになりました。 ここでは、HerokuでRroongaを使う方法と、どのように動いているかを簡単に説明します。 サンプルアプリケーション Heroku上でRroongaを使えることを示すサンプルアプリケーションとして、Rroongaで全文検索できるブログを作成しました。 Heroku上で動いているアプリケーション ソースコード Railsでscaffoldしたものに、全文検索関連の機能を追加して見た目を整えた1だけの簡単なアプリケーションです。 全文検索機能はページ上部の検索ボックスにキーワードを入力してサブミットすると確認できます。キーワードにマッチするとキーワードがハイライトする
Groongaでの可変長データの管理方法 - 2014-03-13 - ククログ
Groongaには可変長データを削除・更新しつづけるとデータベースのサイズが大きくなり続けてしまうという問題があります。次回のリリースではこの問題が解消される見込みで、現在、ユーザーにテストをお願いしています。（詳細は[groonga-dev,02173] データベース肥大化に悩むみなさんへテストのお願いを参照。） ここでは、Groongaがどうやって可変長データを管理していて、どのようにして肥大化を抑えるようにしたかを説明します。 前提 Groongaは新しい鮮度のよい情報をすぐに検索できることを重視しています。そのため、データ更新時も検索性能を落とさないことを重視した設計になっています。具体的には参照ロックフリーという性質を実現しています。 参照ロックフリーとはデータを更新している最中でもデータを読み込める性質のことです。この性質のおかげでデータ更新中でもデータを参照できるため、検索処
RubyとGrnMiniを使ってレストラン検索を作ってみた - ブログのおんがえし
Elasticsearchチュートリアル - 不可視点で紹介されていたlivedoorグルメの研究用データセットとGrnMini 0.4.0を使ってGroongaベースの簡単なレストラン検索を作ってみました。 ソースコードもとても短い(153行)ので簡単な検索エンジンを作ってみたい人は参考になるのではないかと思います。 ソースコード grn_mini_samples/restaurants.rb 使い方 http://blog.livedoor.jp/techblog/archives/65836960.html から研究用データをダウンロード ldgourmet.tar.gz を展開 データベースの作成 検索 データベースの作成 展開した ldgourmet.tar.gz を指定して実行します。しばらく時間がかかります。 $ ruby restaurants.rb /path/to/ld
GrnMiniでテーブルを連携させてTwitterぽいものが作れるように - ブログのおんがえし
続き を書きました。 今まではデータベース1つにつき1つのテーブルしか持つことが出来ませんでした。0.4では複数のテーブルを作ったりテーブル間を連携させて複雑なデータ構造を作れるようになりました。 いよいよカラムデータベースの本領発揮です。 GrnMini 0.4.0 の特徴 https://github.com/ongaeshi/grn_mini 複数テーブルの作成 テーブル間の参照を可能に Hash型をサポート インストール $ gem install grn_mini 複数テーブルの作成 GrnMini::Array.new(name) でテーブル名を指定します。デフォルトは"Array"です。 データベースの作成には GrnMini.create_or_open(name) を使うようになりました。 require 'grn_mini' # データベース "test.db" を作成
150行で書ける全文検索エンジン - ブログのおんがえし
Rubyで簡単に全文検索エンジンが作れるGrnMiniを作ったの続きです。 GrnMiniを使って小さな検索エンジンを書いてみました。 全1ファイル、154行です。検索、マッチ個所の表示(スニペット)、ページネーション、ファイル本体の表示など検索エンジンに必要な一通りの機能が入っています。 ↑はあんスマさんの青空文庫のアーカイブをインデックス化して検索している所です。 インストール grn_miniをインストールします。 $ gem install grn_mini sinatraが入っていない人はそちらもインストールします。 $ gem install sinatra grn_mini/samplemini-directory-search.rbを適当な場所にダウンロードします。rawからコピーするのが簡単です。 もしくはgrn_miniをgitチェックアウトしてもよいです。 $ cd
Rubyで簡単に全文検索エンジンが作れるGrnMiniを作った - ブログのおんがえし
続きを書きました。 RubyでただのArrayだと思って・・の続きです。正月中に整備してgem化しました。 GrnMini ongaeshi/grn_mini Groonga(Rroonga)を簡単に使えるようにラップしたものです。 カラム指定不要でデータを追加することが出来ます。 永続化、高度な検索クエリ、ソート、グループ化(ドリルダウン)、スニペット、ページネーションなどを簡単に使うことが出来ます。 検索エンジンがすぐに作れます。 インストール $ gem install grn_mini 基本的な使い方 実体はRroongaの薄いラッパーですが難しいことを考えずに使えるよう工夫しています。 require 'grn_mini' array = GrnMini::Array.new("test.db") 初めてデータを追加する時にカラム種類を類推して作成します。追加するデータが文字列の
ファイル名検索を高速化するためにRubyとGroonga（Rroonga）を使った話（Windows対応） - Qiita
ただし、ファイルが増えてファイルパスが深くなると、フォルダー階層を行ったり来たりするのでどんどん遅くなります。 この問題を解決するために、RubyとGroonga（Rroonga）を使ってみました。 オブジェクト指向スクリプト言語 Ruby Groonga - カラムストア機能付き全文検索エンジン RubyでGroonga使って全文検索 - ラングバ アウトプットした方が身に付きそうなので、チュートリアル形式で書いてみます。 進め方はRroongaのチュートリアルを参考にしました。 RubyとGroongaを使ったファイル名検索のチュートリアル Rubyのインストール 前提条件は、Rubyというプログラミング言語を実行できる環境がインストールされていることです。 インストールされていない場合は、以下のリンク先などから最新版をダウンロードしてインストールします。 RubyInstaller
Rroongaとスレッドプログラミング - Qiita
コメントで重要な指摘を貰っているので、そちらも参照のこと 遅くなってしまって、済みません。 以前自分の日記に書いた内容の焼き直しですが、Groongaアドベントカレンダーの四日目です。四日目です！（エントリーの作成日時は見ないでくださいね） 複数のスレッドからRroonga（を通したGroongaデータベース）を触る時には、同時にDBを開かないように気を付けなくてはなりません（とは言え、そもそもそういう状況になるのがよくないので、見直したほうがいいです）。 例えばこんなユーティリティ関数を作って def open Groonga::Database.open @db_file do |db| yield db end end $stderr.sync = true threads = [] 1000.times do |i| $stderr.print "#{i}: start\n" th
mrubyソースコード検索を作りました - ブログのおんがえし
http://mrubysearch.ongaeshi.me/ RubyKokubanを作るにあたってmrubyのソースやmgem(mrubyのRubyGemsみたいなやつ)に登録されたソースコードを簡単に読めるようにしたいなあ、と思い作ってみました。 一日一回レポジトリを最新に更新してインデックスの再構築を行っています。新しいmgemが追加された時は今の所手動で対応しています(そのうち自動化したい所です)。 自分が追加した(もしくは検索したい)mgemが追加されていない！って人はリクエスト頂ければ追加するので教えて下さい。 mgemじゃなくてもmrubyに関係がありそうなソースコードでしたら追加しますので是非。 ※ 個人サイトのため突然停止したりするかもしれません、ご了承下さい。 使い方の例1 - "!"付きのメソッドはどうやってバインドするの？ 例えばgsub!のような!マークのついた
Milkode 1.2 リリース : ファイル名のマッチ個所に色づけ、ctags連携、~/.gitignoreのサポート - ブログのおんがえし
ファイル名のマッチ個所に色づけ ctagsとの連携 ~/.gitignoreのサポート milk update時にignore対象をデータベースから削除 インストール $ gem install milkode ダウンロード, Gems ファイル名のマッチ個所に色づけ ファイル名のマッチ箇所がハイライトされて分かりやすくなりました。(↑画像) 他にも同じファイルで複数箇所にマッチした時はまとめたりとwebアプリの使い勝手を改善しました。 ctagsとの連携 milk update と一緒にタグファイルを作成出来るようになりました。 # パッケージ単位で設定可能 $ cd /path/to/package # milk update と一緒に'ctags -R' $ milk config update_with_ctags true # milk update と一緒に'ctags -R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全文検索エンジンGroongaのカレンダー | Advent Calendar 2013 - Qiita
http://atnd.org/events/43461