形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - Qiita
この記事はVASILY DEVELOPERS BLOGにも同じ内容で投稿しています。よろしければ他の記事もご覧ください。 こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報
怪奇で～た本舗
当本舗では古今東西のありとあらゆる不思議な情報を集めています。 目玉は，「UFO・超能力・幽霊・占い」といった不思議な話を掲載している専門雑誌の「記事の題名」を， 「UFO・幽霊」などというジャンル別に分類してまとめた『怪奇目録(索引)』です。 また，ミステリースポットを5W1H形式で紹介する『怪奇ぞ～ん』，『不思議リンク集』や『文献集』など， いろいろな情報も取り揃えております。 さらに，『検索機能』，『掲示板』，『チャット』，『メールマガジン』や『メーリングリスト』も完備。 あなたの知っている怪奇情報(スポット，専門古書店)を投稿する窓口や体験談や怪異譚を募集する『エッキスふぁいる』がありますので， ぜひ情報をお寄せ下さい。 初めて訪れた方は，まず最初にこちらをお読み下さい。 サイト『ムー・謎への扉』からのクイックリンク 『怪異・日本の七不思議』／『バーチャル不思議探訪』／『古今東西浪
図書館員・図書館情報学研究者が知っていると得しそうなツール・DB一覧～「実験医学増刊」"今日から使える！データベース・ウェブツール 達人になるための実践ガイド100"より - MRKMさんちのブログ
実験医学増刊：今日から使える！データベース・ウェブツール 達人になるための実践ガイド100 今月の実験医学の増刊で、ライフサイエンス系データベース・ウェブツールの一覧として、遺伝子や化合物に関するデータベース、アプリなどをまとめていました。 面白そうだったので、取り上げられていたデータベース・ウェブツールから図書館員や図書館系研究者が知っていると得しそうなものをピックアップしてみました。文献データベースだけではなく、データベースのデータベースや専門分野の略語などのデータベースも重宝するものです*1。皆様はいくつご存知でしょうか？ ちなみに、我らがCiNiiの項を執筆されたのはなんと岡部晋典さんでした！びっくり。まさか医学系の購読誌でお名前を拝見することになるとは思いませんでした。笑 文献データベースに医中誌がないのは有料だから仕方がないのかもしれませんが、医薬品に関する無料の文献データベー
yebo blog: Googleは既にMapReduceを使っていない
2010/09/13 Googleは既にMapReduceを使っていない Googleの新しい検索基盤「Caffeine」では、MapReduceを使っていないそうだ[register]。新しい検索基盤はGFS (Google File System) をオーバーホールしたGFS2を活用しており、分散データベースBigTableに直接インデクシングを行うデータベース駆動の方式に変わっている。この検索基盤を「Colossus」と呼んでいるそうだ。インデックスの作成時間を短縮することで(MapReduceによる処理が不要)、検索のリアルタイム性を増すのだろう。Microsoft、Facebook、Yahoo!がまだMapReduceのオープンソース版ともいえる「Hadoop」を使っていることを考えるとGoogleは先に進んでいる。この成果が「Google Instant」に繋がっているのだろう
怪異・妖怪画像データベース
Copyright (c)2010- International Research Center for Japanese Studies, Kyoto, Japan. All rights reserved.
J-GLOLBALへの期待と注文 - Copy&Copyright Diary
科学技術振興機構（JST）が提供しているサービスにJ-GLOBALというのがある。 J-GLOBAL- トップ http://jglobal.jst.go.jp/ 今年の3月30日にβ版が公開されている。 利用は無料。 一言で言えば、JSTが持っている各種データベースや情報と、日本の特許を一括して検索できるサービスだ。 β版が公開されて、しばらくはほとんど見向きもしていなかったのだけど、6月頃にちょっと使ってみて、これは凄いサービスだと思った。 J-GLOBALの凄いところは、様々なデータベースを一括して検索できることではない。各データベースのデータが有機的に結びついているところだ。 例えば、J-GLOBALには科学技術用語辞書や化学物質、遺伝子情報のテータも収録されていて、キーワードで検索した場合、そういった辞書データを参照し、自動的に同義語展開をして検索を行う。だから、表記のゆれや異表
PubMedにいくつか新しい機能が追加されています。 - Librarianの本棚
Auto SuggestとTitles with Your Seach Terms（9月9日付 NLM Technical Bulletine）http://www.nlm.nih.gov/pubs/techbull/so09/so09_pm_autosuggest.html Embargoed Articles(9月10日）http://www.nlm.nih.gov/pubs/techbull/so09/so09_pmc_embargoed_articles.html Auto Suggestは検索語（あるいはその途中まで）を入力すると、検索語やその組み合わせの候補を、ポピュラーな検索例から選んで表示してくれるものです。（まるでGoogleみたい・・） Embargoed ArticlesはPMCの所蔵の論文でEmbago期間にあるものを表示します。PMC検索のlimit画面で、"Sh
3行でできる超お手軽全文検索 - mixi engineer blog
梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER
Twitterについてはそろそろ検索エンジンとして考えるべきだ
Sophie Alcorn Contributor Share on X Sophie Alcorn is the founder of Alcorn Immigration Law in Silicon Valley and 2019 Global Law Experts Awards’ “Law Firm of the Year in California for Entreprene Roli wrapped up a rough 2021 by filing for administration. The move saw the musical hardware startup effectively spinning off a new brand in the form of Luminary, led by founder Roland Lamb. The compa
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
菜の花の大学図書館日誌 同時アクセス数を食いつぶすとは、許すまじ…！
[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。 630日目。ちょっと文句のひとつも書き立てたくなった。 データベースのウォークイン・ユーザの話。うちの大学の人ではない、学外からの来館者さんのことです。有料の電子ジャーナルとかデータベースなどの電子リソースは、大学が契約しているので利用できるのはその大学に所属する人、ということになりますが契約上、ウォークイン・ユーザの検索・閲覧を認めているものもあります。電子ジャーナルなら、検索・印刷は出来るけれどもPDFファイルのダウンロードは不可というものが比較的多いようです。また、検索はOKだけれども印刷は認めない、というものもありますし、検索すら認めないというものもあります。逆に、結果のダウンロードだってOKだよ！というものも…データベースになら、稀にあります。 今日、問題になっていたデ
start [Repository Aggregator]
This website is designed to show you how to use widgets / gadgets / plugins in your work to get access to information quickly and effectively. It also highlights the work of our project and gives you access to the codes and quicklink buttons you need to start using our widgets in Netvibes and IGoogle. We have a Netvibes Universe Page where you can see how our widgets work together on one web site
2008/11/17 想－IMAGINE Book Searchにデータ提供を開始
詳細検索 「絞り込み条件」をあらかじめ表示した検索画面です。多数の条件を組み合わせた高度な検索が可能です。
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
国立情報学研究所（NII）、科学研究費成果公開サービス（KAKEN）試行版と研究者リゾルバー試行版を公開（2008-05-13） - ACADEMIC RESOURCE GUIDE (ARG) - ブログ版
国立情報学研究所（NII）の学術コンテンツサービス研究開発センターが科学研究費成果公開サービス（KAKEN）試行版と研究者リゾルバー試行版を公開した（2008-05-13）。 ・科学研究費成果公開サービス（KAKEN）試行版（次期 科学研究費補助金採択課題・成果概要データベース ベータ版） http://seikaplus.nii.ac.jp/ ・研究者リゾルバー試行版 http://rns.csc.nii.ac.jp/ ・「科学研究費成果公開サービス（KAKEN）試行版および研究者リゾルバー試行版の公開について」（国立情報学研究所（NII）、2008-05-13） http://www.nii.ac.jp/news_jp/2008/05/kaken.shtml ・リリースノート「改良版研究成果公開サービス（β版）および研究者リゾルバー（α版）公開について」（国立情報学研究所（NII） 学
検索デスク：視点：第3世代Web検索エンジンについて
[概要] Web検索エンジンの発展過程をコンテンツの処理方法により分類します。コンテンツの濃縮、一部処理、全部処理、そして現在は第3世代のコンテンツ間の関連性を処理、へと発展しています。 Web検索エンジン開発の歴史はインターネットの開始から数えてもまだ6〜7年しか経っていません。この間にWebコンテンツが爆発的に増加したため、検索エンジンの性能は短期間にも関わらず長足の進歩を遂げています。ここでは、その進歩の足取りをたどり、現状の検索エンジンについて理解を深めたいと思います。 . ロボット系といわれる検索エンジンは、(1)Webページを収集し、(2)それを索引化してデータベースを構築し、(3)検索要求に応じてランキングし、(4)検索結果を返します。ここでは(2)のデータベースを構築する際にWebページの内容をどのように取り込んでいるかという観点から、検索エンジンの発展過程を見ていきま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国立国会図書館「リサーチ・ナビ」が検索用APIを公開、PORTAでも検索可能に | カレントアウェアネス・ポータル
J-GLOBAL 科学技術総合リンクセンター
イベント-アクティビティ・モデルに基づくシーン検索における可変的な役割の利用 | CiNii Research
コトバンク [ 時事問題、ニュースもわかるネット百科事典 ]![コトバンク [ 時事問題、ニュースもわかるネット百科事典 ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c87f8dd8178c6a7edc58c39e6b6bb8469fe87017/height=288;version=1;width=512/https%3A%2F%2Fkotobank.jp%2Fimage%2Fkotobank_ogp.png)
