はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
3行でできる超お手軽全文検索 - mixi engineer blog
梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER
textsearch-ja: Project Home Page
形態素解析を使用した、組み込み型の日本語全文検索です。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 インストール 依存関係 MeCab テキスト検索機能 インデックス (tsvector, tsquery) 検索結果の強調 (ts_headline) 解析結果の表示 (ts_debug) 類義語 (synonym) ストップワード (stop word) その他の検索用関数 Web検索互換クエリ (web_query) 日本語解析機能 テキストの正規化 (ja_normalize) 分かち書き (ja_wakachi) mecab による解析 (ja_analyze) ふりがな (furigana) ひらがな変換 (hiragana) カタカナ変換 (katakana) TODO 概要 日本語テキ
Ruby on Rails + MySQL で全文検索 - ドワンゴ 研究開発ブログ
このエントリでは Ruby on Rails と MySQL を使って日本語の全文検索を行う方法を記述する。Ruby on Rails のバージョンは 2.0.2、MySQL のバージョンは 5.0.67、Tritonn のバージョンは 1.0.12、Hyper Estraier のバージョンは 1.4.10 を使用した。サンプルの文章データとして、あらゆる日本人にとって極めて身近な著作権切れ文章である『ドグラ・マグラ』と『黒死館殺人事件』を利用した。処理のために整形したデータは本エントリに添付しておく。またデータベースへアクセスするコードではマイグレーションを除きできるだけベンチマークを取るようにし、その結果は本エントリの最後に記載する。 ページネーション Rails でページネーションを実現する will_paginate という plugin は ActiveRecord に標準でつ
Full-text search with Cocoa | Torsten Curdt's weblog
addressbook amiga apache apachecon apple asm australia backup bash bcel berlin blog books c cocoa cocoaheads cocoon commons conferences continuations css debian debug dependencies drools eclipse email firefox flickr funny gadgets geo git gmail google gps html http iphone ipod java javaflow jci jdeb job joost linux mail maven melbourne minijar music network objectivec osx photography plugins review
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
PostgreSQLに全文検索インデックス機能：Ludia 1.4.0 - builder by ZDNet Japan
身近な改善の第一歩！ ニューノーマルな働き方を前提にした これからの時代のWi-Fi環境構築のポイント 高まるゼロトラストの気運 妥協のない安全のために適材適所で組合せ トップ4社によるゼロトラストセキュリティ デジタル時代のITインフラ構築術 仮想化統合、クラウドを経て今「マルチ」へ ITインフラの最適化と継続的進化への道筋 コンテナをエンプラITに！ コンテナ活用の基礎 本番実装が増える背景とメリット 今を知り、未来を見据える 培ってきたノウハウを最新技術へ対応させる レガシーシステムのモダン化実現への道 自社利用の知見・経験を顧客に提供 コンテナ活用を推進する日立製作所 VMware Tanzuを利用したモダナイズを伝授 セキュリティモデルは変わった！ クラウド活用、リモートワークはあたりまえ いま求められるゼロトラスト実現のために 単純なインフラ製品の販売ではない DX、コンテナプ
MySQLで日本語全文検索を：「Tritonn ver1.0.6」リリース
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 9月29日、Tritonnプロジェクトは、MySQL 5.0.45向けの「Tritonn ver1.0.6」をリリースした。 Tritonnは、MySQLから全文検索エンジンSennaを利用可能にするための改造を行うプロジェクト。MySQLに日本語データに対する全文検索を行うための十分な機能が実装されていないこと、MySQLでは全文検索を行うための実装面での十分な高速化が行われていないことから、MySQL改造版ソースを開発するプロジェクトとして活動している。 今回のリリースでの変更点は、以下のとおり。 KWIC関数の第3引数（切り出す文書の最大数）を2以上に値に指定しても1つしか切り出されなかった問題を修正
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
DBMSデフォルト組み込みの全文検索 - グニャラくんのグニャグニャ備忘録@はてな
PostgreSQL 8.2からGINというインデックス形式が追加され、 それを用いれば全文検索インデックスが実現できます。 分かち書きを別途行う必要はありますが。 http://itpro.nikkeibp.co.jp/article/COLUMN/20060912/247864/?ST=lin-server&P=3 MySQLのデフォルトの全文検索インデックスも、 分かち書きを別途行えば日本語の全文検索が実現できます。 http://pc8.2ch.net/test/read.cgi/php/1157467026/382 382 ：nobodyさん ：2006/10/05(木) 14:59:05 ID:??? MySQLならMeCabとかで分かち書きして、UTF-8でFULLTEXTに放り込む手もある。 んじゃ、分かち書きさえやってしまえば SennaのxxxxバインディングとかLud
スラッシュドット ジャパン | PostgreSQL用の日本語対応全文検索エンジン｢Ludia」
sillywalk曰く、"ITProの記事によれば、NTTデータは10月11日、同社が開発した全文検索エンジン｢Ludia｣をLGPLにより無償公開したと発表しました。PostgreSQLに格納されたテキストデータの全文検索が可能で、「オープンソースソフトウエアでは日本語の全文検索に対応した高速・高精度なものが存在せず、データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」(NTTデータ)としています。Ludiaは、N-gramと形態素解析の2種類の全文検索インデックス方式をサポートし、またブーリアン検索、近傍位置検索、類似文書検索といった検索が可能で、検索結果の合致度を示す｢スコア｣も提供するそうです。" バックエンドには組み込み用全文検索エンジンsennaを使っている様である。
Full text search in Ruby on Rails – /bin/recykl
These days, each web application needs a full text search. Fortunately, there is several handy technologies one can use – native MySQL full text index, Google search, Ferret (ruby port of Lucene) and probably lot more I did not investigate. We have decided to use ferret as the full text search engine. The decision was not straight forward and it taken some time. Well, in fact in our agile approach
Full text search in Ruby on Rails 2 – MySQL – /bin/recykl
My previous post compared MySQL and ferret full text search engines. For our project, the ferret was the winner. Nevertheless, I will try to show the beauty and simplicity of using MySQL indexes. Create table and indices First of all it is necessary to create table and the corresponding index. Create table articles( id integer not null primary key auto_increment, title varchar(20), body varchar(10
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全文検索勉強会開きたい！ - グニャラくんのグニャグニャ備忘録@はてな