国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
はじめてのdroonga - 全文検索エンジンgroongaで大規模データを扱うには - Qiita
gihyo.jpさんでgroongaの隔週連載が最終回を迎えました。groongaの最新情報と今後に興味があれば一読をおすすめします。 「最終回 groongaの今と未来」 第1回から第10回までの過去記事については、隔週連載groongaのページを参照してください。 今年も11/29に全文検索エンジンgroongaを囲む夕べ 4を開催することになりました。参加登録はお早めに! 発表者も募集しています。 はじめに オープンソースのカラムストア機能付き全文検索エンジンgroongaを公開しています。最新のバージョンは2013年8月29日にリリースした3.0.7です。 今回は、全文検索エンジンgroongaで大規模データを扱うためのdroongaについて紹介します。 分散groongaという選択肢 groongaで大規模データを扱うために、現在droonga「どぅるんが」というプロダクトが開発
groonga/mroongaのトークナイザー(tokenizer)の挙動を追ってみる - Y-Ken Studio
トークナイズ機能は、全文検索機能に無くてはならない機能です。 欧米圏であれば、最低限スペース区切りに対応していれば実用的に使えます。 しかし、中国語、日本語、韓国語への対応をする場合には、CJK対応言われる実装が必要です。 汎用的な分かち書き（トークナイズ）方法としては、n-gram方式があり、uni-gramやbi-gram、tri-gramが有名です。 n-gramは汎用ではありますが、機械的に分解するが故に精度があまり高くなく、語彙の部分一致検索でしかありません。 そこで、品詞毎にトークナイズの出来る、MeCabやJumanといった形態素解析エンジンの出番となります。 mroongaでは、groonga-tokenizer-mecabというパッケージを追加することで、形態素解析エンジンのMeCabに対応します。 その他、Bigramの独自拡張にも対応しているようなので、それぞれどのよ
Ubuntuにmecab+groonga+mroongaをソースからインストール
Ubuntuにmecab+groonga+mroongaをソースからインストールする。 mroongaのサイトにある手順ではリポジトリ追加してapt-get install、で それはもう簡単にインストールできたのですが その後mysqlがアップデートされたらうまく動かなくなってしまったので ひと通りソースからビルドしました。 以下はバイナリやライブラリは/usr/bin/,/usr/lib/など、 confは/etc/に配置する手順です。 ビルドに必要なものをインストール sudo apt-get install build-essential sudo apt-get install libtool sudo apt-get install autoconf sudo apt-get install apt-src sudo apt-get install libmysqlclient
remiリポジトリからインストールしたMySQLにmroongaを入れようとしたら盛大にはまった
全文検索エンジンとしてmroongaを使おうとインストールしてたら盛大にはまったのでシェア mroongaとはgroongaの特徴環境環境は下記の通り MySQLインストールremiリポジトリからインストールしています。 ここまでは普通 groongaインストールマニュアルにあるとおりにインストール 2.5. CentOS groonga v2.1.1ドキュメント ここまでは順調 mroongaのインストールMySQL 5.5系を使うので、mroongaはソースからインストール まずはマニュアル通りに ビルド自体がこけて、ここで一つ目のエラー で、MySQLのinclude/probes_mysql.hをみてみると、 ってあるので DISABLE_DTRACEを指定して再度ビルド で今度はビルドはできたが、プラグインをMySQLにインストールする時にコケた。。。 このことtwitterで呟
第4回 rroongaを使ったソースコード検索エンジンMilkode | gihyo.jp
はじめまして、おんがえしと申します。 今回は私が作っているソースコード検索エンジンのMilkodeにて、rroonga（とその内部で動くgroonga）がどのように使われているのかを紹介します。 Milkodeの検索画面 ソースコードを検索するということ プログラマの仕事はプログラムを書くことですが、同じくらい「検索する」ことは多いのではないでしょうか。 ある関数の名前を変えたいので使っている箇所をすべて見つけたい ライブラリの仕様が変わった。使っているコードはどこだったか？ コードリーディング中。今読んでいる関数の実体はどこにあるのか？ ベーマガを買ってゲームのプログラムを写経していた頃から時代は進み、WebにアクセスすればゲームやOS、Webアプリなどのソースコードを無料[1]で手に入れることができるようになりました。必要なものをソースコードから検索し、知識として取り込んでいく技術は今
全文検索エンジンgroongaを囲む夕べ 2: 「groonga村」と「mroongaのベンチマーク」用資料 - 2011-12-01 - ククログ
今年も11月29日に「全文検索エンジンgroongaを囲む夕べ」が開催されました。1年ぶりの開催です。会場は株式会社VOYAGE GROUP（10月に株式会社ECナビから社名変更）でした。会場提供ありがとうございます！とても助かりました。会場提供にあたりこしばさんにとてもお世話になりました。ありがとうございます。 資料一覧: まとめ中 Ustreamの録画: グニャラくんさんがUstream係をやってくれました。ありがとうございます。 Twitter上での反応: とみたさんがまとめてくれいました。ありがとうございます。 29日なので、もちろん新しいバージョンのリリースも行われています。 groonga 1.2.8 mroonga 1.10 rroonga 1.3.0 ActiveGroonga 1.0.7 今年は、会の内容の概要を紹介する導入用のセッション「groonga村」と、mroon
モーショノロジー2012 #1: rroongaによる検索サービスの実装 - 2012-01-26 - ククログ
注意: 長いです。 簡単まとめ: 検索サービスを作るにはrroongaが便利です。groongaサポートサービスをはじめます。 CROOZ株式会社が主催する「モーショノロジー2012 #1 全文検索&検索を利用したサービスの使命、利用プロダクト、事例紹介」が開催されました。今回のテーマは検索ということでgroonga開発チームに声をかけてもらいました。groonga関連の枠がいくつかあったのですが、ここではRubyとgroongaを使った検索サービスの作り方についての枠の内容を紹介します。 以下、多少省略しながらスライドの内容を紹介します。 概要 紹介する内容はrroongaを使った場合のメリット・デメリットと入力補完についてです。メリットは事例も交えながら紹介します。入力補完は「Ruby + groongaだからできる」という機能ではなくgroonga単体でも利用できる機能なのですが、最
「全文検索エンジンgroongaを囲む夕べ #1」のRuby枠の資料公開 - 2010-12-01 - ククログ
先月の29日に、全文検索エンジンgroongaを囲む夕べ #1が開催されました。内容はgroonga本体について、groongaとRubyについて、groongaとMySQLについて、groongaとPostgreSQLについて、とgroonga三昧の内容でした。 groongaとRubyについての資料は以降で紹介します。groongaとPostgreSQLについてはすでに資料が公開されています（textsearch groonga v0.1）。参加できなかった方は参考にしてください。 それでは、groongaとRubyについての資料を簡単な解説付きで紹介します。 Ustreamで配信したものの録画もあります。Ruby枠は49分くらいからです。 リリース情報 開催日当日の29日、groongaの新しいバージョン1.0.4がリリースされました。もちろん、この夕べに合わせたものです。 さらに、
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（2/2） - ＠IT
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方（仮）」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS（Key Value Store）によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
グニャラくんのwktk運営日記
06 Sep 2022: 長崎 大波止 MINATOカプセルインに泊まり、コワーキングスペースミナトででワーケーションする 11 Aug 2022: アートレールであるTAKIYAのコレダーラインを自宅マンションに取付DIYした 09 Jul 2019: 猫砂をエバークリーンに、猫トイレを散らかりにくいネコトイレに変えた 09 Jan 2019: 米国でバーニングマンに参加して、起業に失敗し、韓国で美容整形して日本に帰国しました 13 May 2018: サンフランシスコから日本に引越荷物を単身パックで送る 10 May 2018: マッハ新書・Twitter・アニハラ 24 Mar 2018: ノルウェーのトロムソで宿においてあったおすすめスポット 18 Mar 2018: id:todeskingのtodefyのid:pha版のphay 16 Mar 2018: 100均の氷トレイの氷
第2回 groongaをRuby On Railsでも使ってみた ～chikamap.comの事例から | gihyo.jp
隔週連載groonga 第2回groongaをRuby On Railsでも使ってみた ～chikamap.comの事例から mroongaを使ってchikamap.comを作った地価マップ作成者です。 筆者は趣味でプログラムなどをしています。元々はWindowsをメインで使っていましたが、数年前からRubyが気になりMacへ乗り替えてRuby On Railsで色々個人的なサイトを作っています。 今回は、素人ながらgroonga、mroongaを使ってサイトを作った事例を紹介します。 chikamap.comとは chikamap.comは中古住宅・土地購入の際に参考になる地価履歴やその周辺の公共施設・交通機関などの基本的な情報を地図から表示するというだけの簡単なサイトです。 サイトとしてはデータを表示するだけなので構築は比較的簡単な部類だと思いますが、「地図への地価履歴表示」と「その
File: tutorial — rroonga - ラングバ
チュートリアル このページでは簡単なアプリケーションの作成を通してRroongaの操作方法を紹介します。 インストール RroongaはRubyGemsでインストールできます。 % sudo gem install rroonga データベースの作成 簡単なブックマークアプリケーション用のデータベースを作ってみます。以下のようにRroongaを読み込んでirbを起動します。 % irb --simple-prompt -r groonga >> それでは、ファイルを指定してデータベースを作成します。 >> Groonga::Database.create(:path => "/tmp/bookmark.db") => #<Groonga::Database ...> ここで作成したデータベースは、これ以降、暗黙のうちに利用されます。最初にデータベースを作成したら特に意識する必要はありません
第5回 Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介 | gihyo.jp
前回のMilkodeでの事例紹介では、Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エンジンを組み込むことにより、大量のファイルに対しても高速な検索を実現しています。rroongaを使った代表的なアプリケーションの1つです。プログラマにとってとても便利なアプリケーションなので、ぜひ使ってみてください。 前回はユーザ視点からのrroongaの紹介でしたが、今回は違った角度から紹介します。rroongaの歴史、大事にしていることについて説明します。 自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？ 自分のアプリケーションが大事にしたいことをそのプロダクトでも大事にしているなら、相性がよいかもしれません。さて、rroongaはあなたが大事にしたいことを大事
全文検索エンジンgroongaについての発表資料を公開しました。
2010年末に、３つに勉強会にて「全文検索エンジンgroonga」の紹介をさせていただきました。 第4回Solr勉強会 groongaを囲む夕べ ドワンゴ技術勉強会(2) MySQLについて それぞれの勉強会にて用いた発表資料を公開いたします。 groongaの紹介部分については使いまわしがバレバレですが、それぞれの勉強会の特性に合わせた味付けをしているので、ぜひご覧になっていただければ嬉しいです。勉強会当日のレポートをされている方もいらっしゃるようなので、興味のある方は検索してみるとよいでしょう。 また、groongaを囲む夕べに関しては、他の発表者さんの資料も以下のリンクから見ること...
第1回 全文検索エンジンgroongaを紹介します！ | gihyo.jp
今回から始まった隔週連載groongaでは、groongaを使いたくなるような情報を隔週毎にお届けします。 groongaとはGitHubで公開されているオープンソースの全文検索エンジンです。大量にある文書の中から目的のキーワードを持つ文書を高速に見つけることができます。 groongaのロゴ©groongaプロジェクト 第1回目である今回は、この連載についてとgroongaの特徴を紹介します。 この連載について まず、この連載について説明します。 この連載は「読者の皆さんがgroongaを使いたくなる！」ことを目指しています。そのために、次の2点の情報を次回から交互にお届けします。 groongaの利用事例の紹介 利用事例に関連した役立つ情報の紹介 利用事例を紹介することで、「あそこでも使っているなら自分も使ってみようかなぁ」とか「こんな使い方をしているなら自分も使ってみようかなぁ」と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://branchat.human.ait.kyushu-u.ac.jp/redmine/projects/i/wiki/MySQL%E5%90%91%E3%81%91%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3mroonga%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E6%89%8B%E9%A0%86?version=20
http://ec2-54-248-139-18.ap-northeast-1.compute.amazonaws.com/redmine/projects/i/wiki/MySQL%E5%90%91%E3%81%91%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3mroonga%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E6%89%8B%E9
隔週連載groonga 記事一覧 | gihyo.jp