タグ

full_text_searchに関するnilabのブックマーク (41)

  • MySQLの全文検索に関するあれやこれや

    [AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の気ってやつをなAmazon Web Services Japan

    MySQLの全文検索に関するあれやこれや
    nilab
    nilab 2015/10/13
    MySQLの全文検索に関するあれやこれや
  • https://blogs.oracle.com/mysql/post/innodb-%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2-n-gram-parser/

    nilab
    nilab 2015/10/13
    InnoDB 全文検索 : N-gram Parser | MySQL Server Blog
  • MySQL 5.7.6のInnoDB日本語全文検索 ngram

    日々の覚書: プレビュー "MySQL 5.7.6のInnoDB語全文検索 MeCab Plugin" に引き続き、今度はngramなトークナイザー。ドキュメントは ここ 。 MeCab Pluginと違って特にINSTALL PLUGINとかせずに即使える。 mysql> ALTER TABLE articles ADD FULLTEXT KEY (title, content) WITH PARSER ngram; Query OK, 0 rows affected (6 hours 25 min 20.67 sec) Records: 0 Duplicates: 0 Warnings: 0 ( д ) ゚ ゚ 6時間半!? しょうがないとはいえ、MeCabのときは1時間半でお釣りが来てたのにと思うとちょっとしょんぼり。 時間もさることながら、このやり方(データをインポートしてから

    nilab
    nilab 2015/10/13
    日々の覚書: MySQL 5.7.6のInnoDB日本語全文検索 ngram
  • 標準技術集(サーチエンジン)データベース: C 検索手法

    技術分類】 C−3−(3) 文字列照合検索 【技術の名称】 切り出し型検索 フルフレーズ型検索 切り出しフルフレーズ型検索 ストリングサーチ型検索 【技術内容】 全文ファイル検索は、全文を走査して文字列を照合していく検索方法であるが、検索対象の切り出し方法や、照合方法にはいくつかの方法がある。その中で切り出し型検索は、入力した文字を助詞、名詞、動詞部分などにわけて、AND検索する方法である。 フルフレーズ型検索は、入力した文字のすべてを区切らずに用いて検索する。フルテキスト検索ともいい、文字通り全文ファイル検索を前処理なしにマッチングをかける方法であり、得られたデータに間違った検索結果が出る可能性がない方法である。 切り出しフルフレーズ検索は、フルフレーズ型検索では検索時間がかかるため、対象ファイルを切り出し、並行に複数のファイルに対してフルフレーズ検索を行い、検索結果をマ

    nilab
    nilab 2011/09/17
    パトリシアツリー方式「文書のすべての文字から始まる半無限部分文字列(Semi-infinite strings)のインデックスを作成し、これを検索することで該当する文献を探し出す」標準技術集(サーチエンジン)データベース: C 検索手法
  • Apache Lucy

    This project has retired. For details please refer to its Attic page. Overview The Apache Lucy search engine library provides full-text search for dynamic programming languages. It is a "loose C" port of the Apache Lucene™ search engine library for Java. Download The current release of Apache Lucy is 0.6.2. It requires the Apache Clownfish symbiotic object system. Getting Started After downloading

    nilab
    nilab 2011/06/03
    Apache Lucene をC言語に移植した全文検索ライブラリ。 / Apache Lucy
  • Fast fulltext search for all languages on MySQL

    About Mroonga Mroonga is a storage engine for MySQL. It provides fast fulltext search feature for all languages including Chinese, Japanese and Korean to all MySQL users. Mroonga was called Groonga storage engine. Characteristic The latest release 13.05 is the latest release. It had been released at 2023-08-02. Install The latest posts Mroonga 13.05 has been released! (2023-08-02) Mroonga 13.01 ha

    Fast fulltext search for all languages on MySQL
    nilab
    nilab 2011/04/19
    groongaストレージエンジン — groonga storage engine v0.5 documentation : 「全文検索エンジンであるgroongaをベースとしたMySQLのストレージエンジン」
  • Mongoでの全文検索 - Docs-Japanese - 10gen Confluence

    紹介 Mongoは、テキスト検索やタグ付けと言った便利な機能を提供します。 multikeys (配列内の値に対するインデックス) Mongoのmultikeys機能は、配列の値に自動的にインデックスを張ることができます。この機能を使った良い例としてタグ付け(tagging)があります。アーティクルのためのオブジェクトがあり、カテゴリによってtag付けされていると仮定してください。 obj = { name: "Apollo", text: "Some text about Apollo moon landings", tags: [ "moon", "apollo", "spaceflight" ] }

    nilab
    nilab 2011/01/06
    Mongoでの全文検索 - Docs-Japanese - 10gen Confluence
  • mysql:15373

    From: Tasuku SUENAGA <Tasuku SUENAGA <a@xxxxxxxxxx>> Date: Wed, 18 Aug 2010 20:47:49 +0900 Subject: [mysql 15373] Tritonnの後継である、groongaストレージエンジンをテストリリースしました 末永です。 MySQL 5.1で利用可能な、全文検索可能なストレージエンジン、 groongaストレージエンジンをテストリリースしました。 テストリリースですので、地雷覚悟です :-) ドキュメント http://mroonga.github.com/ ダウンロード http://github.com/mroonga/mroonga/downloads groongaストレージエンジンとは、全文検索エンジンであるgroongaをベースとし たMySQLのストレージエンジンです。Tr

    nilab
    nilab 2010/08/19
    _[mysql 15373] Tritonnの後継である、groongaストレージエンジンをテストリリースしました:「MySQL 5.1で利用可能な、全文検索可能なストレージエンジン、groongaストレージエンジンをテストリリースしました」
  • Rubyでgroonga使って全文検索 - ラングバ

    ラングバプロジェクト ラングバプロジェクトはカラムストア機能も備える高速・高機能な全文検索エンジンgroongaの機能をRubyから利用するためのライブラリを提供するプロジェクトです。 groongaの機能をRubyらしい読み書きしやすい構文で利用できることが利点です。 Ruby/groonga Ruby/groongaはgroongaのいわゆるDB-APIの層の機能をRubyレベルに提供します。DB-APIの層の上位であるQL-APIの層に相当する機能はActiveGroongaで提供します。 Ruby/groongaの最新リリース 2009-04-30にリリースされた0.0.1が最新です。 Ruby/groongaのインストール RubyGemsでインストールできます。groongaがインストールされていない場合は自動でダウンロード・ビルドし利用します。 % sudo gem inst

    nilab
    nilab 2010/07/29
    Rubyでgroonga使って全文検索 - ラングバ
  • Fess: 全文検索システム (フェス) プロジェクト日本語トップページ - OSDN

    【https://github.com/codelibs に移行しました】Fessは全文検索のJavaアプリケーションサーバです。インストールから起動までが5分もかからずに検索サーバを構築することができます。OS非依存でJavaの実行環境があれば利用可能です。検索エンジン部分には世界的にも実績があるelasticsearchを採用しています。ウェブやファイルシステムのクロールもでき、MS Office系のドキュメントやPDFなどのファイルも検索対象とすることができます。また、DBのデータも検索対象にできるので、既存のシステムと連携して利用することもできます。 ダウンロード 最新リリース fess-server 14.9.0 (日付: 2023-06-24) fess-server 14.8.0 (日付: 2023-05-13) fess-server 14.7.0 (日付: 2023-03

    Fess: 全文検索システム (フェス) プロジェクト日本語トップページ - OSDN
    nilab
    nilab 2010/03/12
    Fess: 全文検索システム:「Fessは全文検索のJavaアプリケーションサーバ」「インストールから起動までが5分もかからずに検索サーバを構築」「Seasar2 ベース」「Solr を利用」「クロールには S2Robot を利用」
  • MySQL InnoDBだけで全文検索 - SH2の日記

    実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp:悟空、秘剣「転置インデックス」を手に入れる |Googleはなぜ的確に探せるのか? [を] 転置インデックスによる検索システムを作ってみよう! 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足?! うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy

    MySQL InnoDBだけで全文検索 - SH2の日記
    nilab
    nilab 2009/12/07
    MySQL InnoDBだけで全文検索 - SH2の日記 : 自力で転置インデックス
  • MySQL5.1にMeCabのfull-text parser pluginを入れてみた - Lism.in * blog - nekoya (id:studio-m)

    MySQL5.0で全文検索というと、Tritonn入れたりしてSennaを使うのが常套手段。そういうところはプラグインで解決するのが5.1のやり方らしい。 http://www.slideshare.net/hiroaki.kawai/mysqlftppc http://sourceforge.net/apps/mediawiki/mysqlftppc/index.php?title=Main_Page というわけで、MySQL5.1でfull-text indexを作成出来るようになる、mysqlftppcことMySQL full-text parser plugin collectionを入れてみました。環境はCentOS5.4(x86_64)。 MySQL体は公式のRPMを使用。 http://dev.mysql.com/downloads/mysql/5.1.html#linux

    MySQL5.1にMeCabのfull-text parser pluginを入れてみた - Lism.in * blog - nekoya (id:studio-m)
    nilab
    nilab 2009/11/11
    MySQL5.1にMeCabのfull-text parser pluginを入れてみた - Lism.in * blog - nekoya (id:studio-m) : 「MySQL5.1でfull-text indexを作成出来るようになる、mysqlftppcことMySQL full-text parser plugin collectionを入れてみました」
  • 第4回 全文検索エンジン「Lucene/Solr」の用途と良さ

    情報インフラの発展に伴い,私たちが接する情報の絶対量は増加の一途をたどっています。そのため,目的とする情報をすばやくピンポイントで入手するのが困難な状況も増えています。 一方で情報提供側にとっても,情報を確実に利用者に届けることがビジネスの成功に重要な要素となってきており,これを実現するための努力が日々続けられています。 このような状況で,高速で柔軟性が高い検索処理のニーズが高まってきており,全文検索エンジンが注目を集めています。ここでは,オープンソースの全文検索エンジンである「Lucene/Solr」を紹介します。 Lucene/Solrとは Lucene/Solrは,Apache Software Foundation(ASF)のLuceneプロジェクトで開発されているソフトです。LuceneはPure Javaで実装された全文検索エンジンで,単独では実行不可能なライブラリの形式で提供

    第4回 全文検索エンジン「Lucene/Solr」の用途と良さ
    nilab
    nilab 2009/07/23
    第4回 全文検索エンジン「Lucene/Solr」の用途と良さ : 「商用プロダクトで起こりがちな「仕様なのでどうしようも無い」という事態には総じて陥り難いプロダクト」「元々CNET Networksの内部プロジェクト」
  • 全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集

    はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全

    nilab
    nilab 2009/07/22
    全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利なリンク集 | イージーネット Tech Blog
  • Solr勉強会に行ってきました[solr][ecnavi][mapion][recruit] - d.hatena.zeg.la

    Solr勉強会に行ってきました。 ECナビさんの事例の最後の質問付近から参加させていただきました。 Solr(ソーラー) 全文検索エンジンライブラリLuceneをベースに、管理画面やキャッシュ機構を取り入れたアプリケーション。 http://ja.wikipedia.org/wiki/Solr http://lucene.apache.org/solr/ 各事例紹介 ECNavi parasearch商用サーチエンジンを使っている ECTokenizerという独自Tokenizerで型番等のゆれを吸収している WebServer pound リクルート スピーカー 植野さん リクルートの人 開発、テスト MITの人 全社のインフラ 事業 営業、企画は社内 技術は大手SIerさん 全社的なインフラとかはMIT 某サイト (新作hotpepper?がSolrつかってる?) 25-280QPS

    Solr勉強会に行ってきました[solr][ecnavi][mapion][recruit] - d.hatena.zeg.la
    nilab
    nilab 2009/07/22
    Solr勉強会に行ってきました[solr][ecnavi][mapion][recruit] - d.hatena.zeg.la : 事例紹介など : コメントが1分差で同じこと書いてる(^_^;)
  • Lux: Distributd full-text search engine

    Lux is a distributed full-text search engine library. It helps to retrieve large amount of documents efficiently.

    nilab
    nilab 2009/04/15
    全文検索エンジンLux
  • [Namazu-users-ja 1150] 日本語全文検索システム Namazu 2.0.19 リリース

    Tadamasa Teranishi yw3t-trns @ asahi-net.or.jp 2009年 3月 12日 (木) 23:54:45 JST 前の記事 [Namazu-users-ja 1149] Re: Namazu 2.0.19 RC1 公開 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] 2009年03月12日 Namazu Project 日語全文検索システム Namazu 2.0.19 リリース Namazu Project は、オープンソースソフトウェア Namazu 2.0.19 を 2009年03月12日にリリースいたしました。 GPL2(GNU General Public License version 2)に従って、Webサイトにて 一般公開したことを発表します。 Namazu は手軽に使えることを第一に目指した日語全文検索

    nilab
    nilab 2009/03/13
    _[Namazu-users-ja 1150] 日本語全文検索システム Namazu 2.0.19 リリース : この3年間は毎年3月12日に新バージョンがでているっぽい
  • Ingrid.org

    Ingrid.org This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: 10 Best Mutual Funds Top Smart Phones High Speed Internet find a tutor Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy

    nilab
    nilab 2009/03/11
    日本語全文検索エンジン"Freya" : 「ODINに使用していた検索エンジンを作り直し,一般向けに手直ししたもの」「Full-text Retrieval Engine for Your Archives」
  • 試験管のなかのコード :: Ludia にチャレンジ

    Ludia にチャレンジ Ludia とは Ludiaは高速かつ高精度な全文検索インデックス機能をオープンソースのデータベース管理システムであるPostgreSQLに提供します。Ludia は株式会社NTTデータにより開発され、2006年10月11日にLGPLライセンスのオープンソースソフトウェアとして公開されました。 ということで、PostgreSQLに全文検索機能付加するソフトウェア。 Senna, MeCab との連携機能を PostgreSQL に追加してくれる。 全文検索エンジン(Lucene とか Hyper Estraier とか)を管理する手間が省けるので、中小規模の全文検索が必要な場合にはとても便利そうだ。 Ludia http://sourceforge.jp/projects/ludia/ Senna http://qwik.jp/senna/FrontPageJ.h

    nilab
    nilab 2009/03/01
    試験管のなかのコード :: Ludia にチャレンジ : 「PostgreSQLに全文検索機能付加するソフトウェア。 Senna, MeCab との連携機能を PostgreSQL に追加してくれる」
  • ついにベールを脱いだ! 未来検索ブラジルの新検索エンジン『groonga』|ガジェット通信 GetNews

    全文検索エンジンSennaと言えば、未来検索ブラジルの生み出した傑作フリーソフトウェアとしてつとに有名であるが、いよいよその後継プロジェクトであるgroonga(ぐるんが)が、2月20日にテストリリースされた。新しい検索エンジンgroongaはいったいどのようなソフトウェアなのだろうか?正式リリースより一足早く、その特徴をレポートしてみた。 groongaは組み込み型の全文検索エンジンライブラリです。DBMSやスクリプト言語処理系等に組み込むことによって、その全文検索機能を強化することができます。また、リレーショナルモデルに基づくデータストア機能を内包しており、groonga単体でも高速なデータストアサーバとして使用することができます。以下のような特徴を持っています。 ■全文検索方式 転置索引型の全文検索エンジンです。転置索引は圧縮されてファイルに格納され、検索時のディスク読み出し量を小さ

    nilab
    nilab 2009/02/26
    ついにベールを脱いだ! 未来検索ブラジルの新検索エンジン『groonga』 « ニュース | 未来検索ガジェット通信