技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフとは 意味的知識グラフを用いた関連語の計算 参考資料 意味的知識グラフとは 知識グラフと聞くと、固有表現認識や関係抽出、OpenIEを使って構築するグラフを思い浮かべる方もいると思うのですが、意味的知識
Apache Solr から OpenSearch に載せ替えた話 - 弁護士ドットコム株式会社 Creators’ blog
検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol
Solr クエリを速度改善したら Solr 全体のパフォーマンスが向上した - 一休.com Developers Blog
この記事は 一休.com Advent Calendar 2023 6日目の記事です。 一休レストランの開発チームでエンジニアをしている香西です。 今回は Solr クエリの速度改善についてお話します。 背景 2023年10月、一休レストランのスマートフォン用 レストラン詳細ページをリニューアルしました！ UI/UX の見直しとともに、使用技術も一新しました。 バックエンド言語：Python から Rustへ フロントエンドフレームワーク：Nuxt.js から Next.jsへ*1 スマートフォン用 レストラン詳細ページ 課題 「日付を選ぶカレンダーの表示が遅い」 社内限定リリースの直後、多方面からこの声が聞こえてきました... レストランへ行く日付を選ぶカレンダーは予約フローの第一ステップなので、表示速度が遅いことは致命的です。 特に、設定データ（料理のコース種類・席の種類など）が多いレ
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
Solr Operatorを利用したKubernetes上での検索システムの構築について - エニグモ開発者ブログ
エンジニアの竹田です。 BUYMAの検索システムやMLOps基盤の開発・運用を担当しております。 今回はSolr Operatorによる検索システム構築を行いましたので、その実施内容と得られた知見についてご紹介したいと思います。 はじめに 昨期から今期にかけて、オンプレミスのシステムからの脱却、およびマイクロサービス化を目指し、商品検索システムのリプレイスを進めていました。 エニグモでは機能毎にApache Solrを用いた複数の検索システムを保持しており、クラウド移行に伴い、構築面や運用面の負担は大幅に軽減できております。 なお、リプレイスを行った商品検索システムの構成も下記の記事と大きくは変わっていません。 tech.enigmo.co.jp 今回フォーカスする検索システムの課題 検索システムの運用には、開発案件や障害対応、システムのバージョンアップやシステム増強作業などがあります。
この記事は、NAVITIME JAPAN Advent Calendar 2020、4日目の記事です。 こんにちは。見習いスパルタ人1号です。ナビタイムジャパンで地点検索基盤の開発を担当しています。 当社では地点検索に利用する検索エンジンとして主に Apache Solr を利用していますが、2014年に Solr を採用して以降、マイナーバージョンの更新はあったもののメジャーバージョンのアップグレードがなされていない状態でした。 長年アップグレードしたくともなかなか取りかかれない状況でしたが、今年度に Solr 6系 にアップグレードを行いました。今回はその経験と、アップグレードから得られた知見について書いていこうと思います。 難しいことは特にしていないため、いきなりの飛躍は難しい…! という方の参考になれば幸いです。 忙しい人のための知見まとめ・開発フローもアップグレードして効率化する
Welcome to Apache Solr
Solr is the popular, blazing-fast, open source enterprise search platform built on Apache Lucene™. Learn more about Solr. Solr is highly reliable, scalable and fault tolerant, providing distributed indexing, replication and load-balanced querying, automated failover and recovery, centralized configuration and more. Solr powers the search and navigation features of many of the world's largest inter
Solr による サジェスト検索実装 - Qiita
<fields> <field name="id" type="string" indexed="true" stored="true" multiValued="false" required="true" /> <field name="keyword" type="text_ja" indexed="true" stored="true" multiValued="false" required="true" /> <field name="context" type="int" indexed="true" stored="true" multiValued="false" required="true" /> <field name="weight" type="int" indexed="true" stored="true" multiValued="false" requi
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部で検索エンジンのプラグイン開発を担当している真鍋です。 ヤフー社内には、機械学習したモデルを実行してドキュメントの順序を決めるためのApache Solr（以下Solr）プラグインが存在します。 しかし、このようなプラグインを書く方法がまとまったコンテンツは多くありません。 日本語であればなおさらです。そこで先日、Solrプラグイン開発チュートリアルとデモ用のプラグインの完成品を公開しました！ Solrプラグイン開発チュートリアル GitHub - yahoojapan/solr-plugin-samples この記事では、まずSolrについて簡単に説明し、続いて、このチュートリアルの内容を簡単に紹介
GitHub - veracode-research/solr-injection: Apache Solr Injection Research
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事はランク学習（Learning to Rank） Advent Calendar 2018 - Adventarの14本目の記事です この記事は何？ 検索エンジンの有名どころとしてSolrが挙げられますが、Solrにはランク学習によるランキングモデルで文書をランキングする機能があります。 Learning To Rank | Apache Solr Reference Guide 7.6 この記事では、RankSVMを使ってランキングモデルを構築し、得られたランキングモデルをSolrにデプロイするまでを紹介します。 同じくSolr+ランク学習の導入として以下記事が参考になるので、合わせてご確認ください。 qiita.com Solrの準備 この記事ではSolr7.6を使います。Apache Solr -からダウンロードし、solrコマンドが打てるようにしておきます。 この記事では/
はじめに Apache Solr を触る機会があったので、そこで調査した／身に着けた基本的な内容を忘れないように記しておく。 そもそも Apache Solr って何？ A: 全文検索エンジンの１つであり、それを実現するウェブサーバーベースのアプリケーション。 全文検索エンジンとは、複数の（大量の）文章を登録し、どこかにキーワード（らしきもの）を含む文章を検索することを主眼としたもの。 全文検索エンジンの活躍どころの例としては、社内で管理している（大量の）ドキュメントファイルの検索、ウェブページのアーカイブ管理と検索、ニュースサイト全体から記事を検索する、などが考えられる。 もちろん、これらのことは要件次第では RDB や KVS を使っても達成できる。 しかし、データ量の増加に従ってパフォーマンスの劣化が顕著になってきたり、あいまい検索（例: 入力「とうきょう」に対して、「東京」が含まれ
はじめに この記事は、ドコモアドベントカレンダー15日目の記事になります。 POI検索エンジンの開発に携わっています。 今回は、Solrを使ったPOI横断検索の基本の仕組みについて書きます。 概要 POIってなに・活用事例 検索エンジン・Solrってなに どうやって検索しているの 精度を上げる工夫 今回のテーマは、"検索をする"という行為の裏側で、どのようなシステムが動いているか、 専門外の方でもなんとなくイメージすることができるということです。 というのも、私自身が最初に「検索エンジンの開発」に取り掛かる時に、正直全くイメージがつかず、 検索エンジンの構成や技術的な情報が理解しづらかったからです。 検索、って・・・検索窓に知りたいことを入力すれば、魔法のように自分の求める答えが出てくるんじゃない？ なんて思っており、どのようなロジックで検索されているか全く知りませんでした。 Solrの詳
【セキュリティ ニュース】全文検索システム「Apache Solr」に脆弱性 - ゼロデイ攻撃のおそれも（1ページ目 / 全2ページ）：Security NEXT
オープンソースの全文検索システム「Apache Solr」に相次いで脆弱性が明らかとなっている。一部はパッチが提供されておらず、すでにエクスプロイトコードが公開済みだ。 脆弱性を分析したTenableによれば、11月に公開された最新版「同8.3」を含む「同7.7.2」以降が影響を受ける脆弱性が明らかとなったもの。脆弱性は「Config API」に起因するものと見られる。CVE番号は11月22日の時点で採番されていないという。 同脆弱性によって、API経由で設定ファイルにおけるリソースを読み込むためのパラメータを変更することが可能となり、攻撃を通じて最終的にリモートよりコードを実行されるおそれがある。 同脆弱性の「実証コード（PoC）」は、GitHubで10月29日に公開され、さらに数日後にはエクスプロイトコードも公開された。 脆弱性を解消するパッチは用意されておらず、同社はアクセス時に認証
今日から始めるSolrベクトル検索：もちっとカフェ
本書は、全文検索エンジンである Apache Solr のバージョン 9 から導入された密ベクトル検索機能について、その特徴と使い方を紹介する本です。 ベクトル検索は従来のキーワード検索では実現が困難だった、ニュアンスの検索や類似画像検索、レコメンド、テキストから画像や音声などメディアの垣根を越えたマルチモーダルな検索などなど、ユーザーにまったく新しい検索体験を提供できる可能性を秘めた検索手法です。 その魅力の反面、Solr 上でのベクトル検索は、全文検索エンジンの知識に加えて、機械学習分野の素養も求められます。 そのため、導入の敷居が高いと感じられているチームが多いのではないでしょうか。 その証拠というべきか、ビジネスでの実用実績はおろか、使ってみたという記事さえほとんど見つかりません。 そこで、本書では、追加された Solr の機能の使い方はもちろん、肝となるベクトル生成部分の実現例に
Lucene (Elasticsearch, Solr) のインデックスには結局どんな情報が保存されているのか - Qiita
Lucene (Elasticsearch, Solr) のインデックスには結局どんな情報が保存されているのかSolrElasticsearchlucene Apache Luceneで凝ったことをする場合でも、通常、インデックスの構造までは意識しない場合が多いと思います。（Luceneに依存するSolrやElasticsearchも同様）筆者もその方針で開発を行うことが多く、その時々のニーズに合致するAPIだけを操作しています。そんなわけで、タイトル通り「Luceneのインデックスには結局どんな情報が保存されているのか」というシーズ的な切り口で調べてまとめたことが無かったので、やってみました。 実はLuceneのドキュメントには、ほぼこの切り口に対応する箇所があります。Lucene 8.6.3であれば、こちらです。 Package org.apache.lucene.codecs.luc
全国津々浦々の Solr ファンのみなさんこんにちわ、Solr おじさんです。 本日は Solr のキャッシュについてお話します。 Solr のキャッシュの種類 主に使うキャッシュの種類は FilterCache, DocumentCache, QueryResultCache の3つがあります。。DocumentCache, QueryResultCache は名前からわかる通りドキュメントのキャッシュと、クエリ結果のキャッシュ。 FilterCache は何をしているのか。これは、Solr の検索クエリの fq パラメーターで指定する、Filter Query の結果をキャッシュするものです。検索キーワードなどクエリごとに異なるであろう部分は q パラメーターで指定し、あまり変わらないもの、例えばユーザーごとに userId:1234 でフィルタするというようなある程度静的なものを f
概要 Apache SolrをPHPから操作するSolr Extensionを導入します。 Apache Solr自体の導入は解説しません。 Solr Extensionの使い方も解説しません。1 環境 CentOS7 64bit PHP5.4 必要ライブラリのyum install 通常はpecl installのときにエラーとしてインストールを促されます。 不要なものをインストールしたくない方はpecl installを先に試して、エラーメッセージの指示に従うのもOKです。 yum install libcurl-devel yum install libxml2-devel ない場合はlibcurlを再インストールしてね、と言う風に読めるエラーがでますが、インストールするのは*-develです。 ビルドするときに必要なのでしょうが、ぺちぱーの中にはビルドの概念が薄い方もいらっしゃるの
どうもコッピーです． 初ブログで言ったとおり，今回の目標はSolrを立てて，Slackの投稿データを全文検索できるようにすることです． 基本的にはこちらの本を読みつつやっています．どうでもいいですが，この本の著者の半分がメルカリで働いているらしいですね． 前提条件 Solrは公式のDockerイメージを使用してDocker環境に構築する 今回，SolrにSlackの投稿データを投げる部分はRubyで書きました 以下，簡単に理由を記載しています． まず，あまりローカル環境を汚したくなかった(Java系は色々インストールとかめんどくさい)ので，上記の書籍ではローカル環境でやっているところをDockerで動かしています． また，Rubyを選んだのは自分が書き慣れていたからです．それだけです．とはいえあまりAPI周りをRubyで書いたことはなかったので地味に時間を取られましたが... 環境 OS:
Learn how to train a machine learning model to rank documents retrieved in the Solr enterprise search platform. This tutorial describes how to implement a modern learning to rank (LTR, also called machine-learned ranking) system in Apache Solr. It's intended for people who have zero Solr experience, but who are comfortable with machine learning and information retrieval concepts. I was one of thos
GitHub - jas502n/CVE-2019-12409: Apache Solr RCE (ENABLE_REMOTE_JMX_OPTS="true")
root@kali:/opt/mjet# nmap -p 18983 -Pn -T5 -n -sC -sV 10.10.20.166 -sC -sV Starting Nmap 7.80 ( https://nmap.org ) at 2019-11-19 17:00 CST Nmap scan report for 10.10.20.166 Host is up (0.00016s latency). PORT STATE SERVICE VERSION 18983/tcp open java-rmi Java RMI | rmi-dumpregistry: | jmxrmi | javax.management.remote.rmi.RMIServerImpl_Stub | @127.0.1.1:18983 | extends | java.rmi.server.RemoteStub
1.9.0 から日本語が正式サポートになったApache OpenNLPを、Apache Solr から便利に使いましょう！Read less
Deploying and scaling Apache Solr on Kubernetes | Amazon Web Services
AWS Open Source Blog Deploying and scaling Apache Solr on Kubernetes Apache Solr is an open source enterprise search platform built on Apache Lucene. Solr has been powering large-scale web and enterprise applications across industries such as retail, financial services, healthcare, and more. Its features include full-text search, hit highlighting, faceted search, real-time indexing, dynamic cluste
【OSS情報アーカイブ】Apache Solr | マジセミ
※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。 「Apache Solr」とは 概要 Apache Solr(アパッチソーラー)とは、オープンソースエンタープライズ検索プラットフォームです。ApacheLucene上に構築されており、「高速処理」「高信頼性」「拡張性」「分散インデックス作成機能」「負荷分散クエリ機能」「自動フェイルオーバー機能」などの特徴があります。 基本説明 Apache Solrは、RESTライクAPIを備えたスタンドアロンのエンタープライズ検索サーバです。 「JSON」「XML」「CSV」「HTTP経由バイナリ」を介してドキュメント類を管理します。HTTP GETを介してクエリを実行して結果を受け取れます。 世界最大級サイトをサポートできる検索機能およびナビゲーション機能を提供します。 オフィシャルサイト情
メールでのお知らせ メールで次の案内をお送りしております。メールの配信を希望する方は，利用したい項目をチェックしてメールアドレスを入力し，［登録］ボタンをクリックしてください。 gihyo.jp UPDATES［ほぼ週間に1回］ 新刊メールマガジン［ほぼ週間に1回］ 電脳会議の各号案内［ほぼ1ヵ月半に1回］ ※変更する場合や停止する場合は，登録情報変更ページをご覧ください。 ※登録いただいたメールアドレスには，そのお知らせ以外，配信いたしません。
Solr構築入門 | iret.media
1. 概要 2. Solr構築方法 — 2.1. Solrソフトウェアのインストール — 2.2. コア作成とスキーマ定義 — 2.3. データ投入 概要 Solrは使ったことがないけれど、作ったことはあるぞ。ということで、Solr構築入門をまとめます。 SolrはApacheソフトウェア財団のLuceneプロジェクトのサブプロジェクトとして開発された、オープンソースの全文検索システムです。Apache Solrは、インターネット上のサイト検索や企業内に蓄積されたファイルやデータの全文検索に利用されています。 今回はAWSで起動したEC2のインスタンスに、Solrのソフトウェアインストール、コアの作成（コアは検索エンジンそのもの）、スキーマ（RDBMSのテーブルのようなもの）を定義して、データを投入するまでの流れを記載しています。 Solr構築方法 Solrソフトウェアのインストール ja
Apache Luceneプロジェクトは7月15日、Javaベース全文検索ソフトウェアの「Apache Lucene 8.6.0」およびLuceneベースのサーバー「Apache Solr 8.6.0」を公開した。 Apache Luceneプロジェクトは、Javaベースのパワフルなインデックスおよび検索エンジンであるLucene Core、Lucene Coreベースの検索サーバーSolrを持ち、Lucene CoreとSolrの開発とリリースは歩調を合わせた形で行われている。Apache Lucene 8.0およびSolr 8.6は、2019年春に公開されたバージョン8系の最新安定版。 Luceneでは新機能としてIndexWriterにmerge-on-commitを導入した。小規模なセグメントをコミット時に選択的にマージするもので、タイムアウトの設定、検索の性能の改善などの用途で利
Anaconda再インストールメモ - Solr, Python, MacBook Air in Shinagawa Seaside
Jupyterが起動しなくなったのと、場当たり的にいろいろインストールしたり ごにょごにょしたりして、カオスになってしまっていたで整理のために再インストールした Anaconda アンインストール コントロールパネル -> プログラムと機能 -> Python 3.6.1(Anaconda3.4.4.0 64bit) Next-> Uninstall -> Next -> Finish 念のため再起動 Anaconda インストール https://www.anaconda.com/download/ Anaconda 5.2 For Windows Installer Python 3.6 version 64-Bit Graphical Installer (631MB) ダウンロード Anaconda3-5.2.0-Windows-x86_64.exe 実行 Next -> I Ag
なお、成功すればsolrの管理画面にcollection1の下にcollection2が表示されます。 3. solrjの入門知識―Solrのドキュメント登録、検索の解説とJavaのサンプルコード solrjなどのライブラリを使用してWebアプリケーションやバッチ処理などでドキュメントの登録や検索が行えます。 Excel、Word、PDFもあつかうことができます。 ここでは、Solrのドキュメント登録、検索の解説とJavaのサンプルコードなど、solrjの入門知識について見ていきます。 Solrにドキュメントを登録 Solrのダウンロード媒体に付属したサンプルのままの状態（スキーマ定義）でドキュメントを登録する例を紹介しています。 Solrにドキュメントを登録―solrjを使用した簡単なJavaのクライアントプログラムを作成 solrjを使用した簡単なJavaのクライアントプログラムを作成
Solrの問い合わせ : Javaありがたや
はじめに 情報検索・検索技術 Advent Calendar 2022 の 10 日目の記事です。前回は Jun Ohtani さんの「ElasticsearchのアーキテクチャとStateless / Serverless」でした。 ついに検索エンジンもサーバレスでオートスケールしてくれる時代になってきましたね。 今回はタイトル通り Solr 9 から独立プロジェクトとなった Data Import Handler を Solr 9 で使う方法について調べてみました。 試してみたい方は、サンプルコードを書いてみましたので参考にしてください。 本記事、サンプルコード共に私の経験が浅く、誤りや冗長な情報がところどころあるかと思います。ご容赦ください。 衝撃の事件 2022年5月12日に Apache Solr 9.0.0 が 公開されました。 2019年3月14日以来、3年ぶりとなるメジャー
環境 OS CentOS Linux release 8.2.2004 (Core) Javaインストール ここではjava11を使用します。 詳細はこちらに記述してます。まずリポジトリを追加します。 sudo vi /etc/yum.repos.d/adoptopenjdk.repo <編集> [AdoptOpenJDK] name=AdoptOpenJDK baseurl=http://adoptopenjdk.jfrog.io/adoptopenjdk/rpm/centos/8/x86_64 enabled=1 gpgcheck=1 gpgkey=https://adoptopenjdk.jfrog.io/adoptopenjdk/api/gpg/key/public
Solr Cloud (ver.5.5.0) ～サーバ3台～ - 新米インフラエンジニアの研修日記
目次 概要 作成手順 確認 概要 サーバ3台構成で、Zookeeper(3.4.8)とSolr Cloud(5.5.0)を使い、分散冗長構成の作り方をまとめます。 OSは、CentOS6.7です。 作成手順 まず、Zookeeperを用意します。 設定はこちらに記載してます。 the-casket-of-star.hatenablog.com /opt/zookeeper/bin/zkServer.sh start まで行った前提です。 Solrの設定を行います。 こちらを参考にさせて頂きました。 Tutorial – Deploying Solrcloud 5 on Amazon EC2 | Blog of France Labs on Search technologies cd /tmp wget http://ftp.tsukuba.wide.ad.jp/software/apac
Solrで入れ子構造の文書をインデックスする
入れ子構造の文書 入れ子になった文書をそのままインデックスできると便利なことがあります。たとえば 親文書:ブログ本文、子文書:コメント親文書:製品の基本情報、子文書:サイズ違い、色違いなどのバリエーション親文書:音楽プレイリスト、子文書:曲 などです。 Solrで入れ子構造を扱う Solrは入れ子になった文書を扱うことができますが、そのためにはいくつかの条件と制限があります。 親-子の2階層までindexされるがstoreされない root フィールドを持つ。同一の文書に含まれるすべての親要素、子要素は自動的に root フィールドに同じ値を与えられる親階層の文書であることを示すフィールドを持つ。検索時の条件として使う。いわゆるスキーマレスの設定が必要。構造の異なる(場合が多い)親と子を同じコア(コレクション)内で扱う必要があるため 例: プレイリスト 以下のようなプレイリスト情報を So
SolrでもRAGできるもん！の裏話
はじめに 先日、Solr をバックエンドに RAG（Retrieval Augmented Generation）をするという記事を書きました。 その記事では、順風満帆なように書きましたが、裏ではいろいろと躓きポイントがありました。 本記事では、その紆余曲折の過程をご紹介します。 また、サンプルコードを公開しました。 自身のお手元で試してみたいときの参考にどうぞ。 ココが苦労した！ eurelis-langchain-solr-vectorstore の制約が厳しい Solr と LangChain をつなぐために eurelis-langchain-solr-vectorstore というライブラリを使わせてもらっています。 個のライブラリを使う最大の恩恵は、普段は面倒な機械学習部分の処理をブラックボックス化し、たった数行で実装できてしまうという点です。 反面、前回記事でも触れた通り P
Maven Central Repositoryに検索のAPIがあるのはなんとなく把握していたのですが、これまで使ったことがなかったので ちょっと試してみようかと思いまして。APIについてのドキュメントは、こちら。API GuideSearch API Reference（PDF）Bookmarkable URLsと…
google 先生のあれです、あれ これ、これ。サジェスト機能ってgoogle先生でいつもお世話になっている「これですかね？」と候補を示してくれるやつですわ。 ともかくすごいんです このサジェスト機能は、簡単そうに見えて仕組みを知ると意外と難しい仕組みなんだなと、まあ「普通」なことが複雑な仕組みで実装が面倒っていうのは、よくあることですねｗ。 要するに ajax を使用しリアルタイムに Solr に問いあわせし結果を描画する。っていうことです。 試してみる SolrのSuggesterを試してみる さんの紹介記事を参考にさせて頂きつつ手順を追って構築してみます。 まず、Apache Solr（JDK7, Solr 4.9.1, jetty 9）をインストールしてみたその１ 前回記事とおりに環境を構築します（起動はしないこと）。 Solr の設定ファイルの配置 RONDHUIT社サイトの、"
前回 Apache Solrに対してJavaで文書登録をして、APIでその結果が取得できるところまでやってみました。 今回はAPIではなく、登録した文書をJavaで検索してみようと思います。 環境 OS: Mac OSX 10.9.4 Java: Oracle Corporation Java HotSpot™ 64-Bit Server VM (1.8.0 25.0-b70) メモリ: 4GB Apache Solr-4.10.0 Javaで文書検索 文書登録時と同じく、Apache Solrjが必要です。 ライブラリの取得方法は前回を参照して頂くとして、早速サンプルコードです。 import org.apache.solr.client.solrj.SolrQuery; import org.apache.solr.client.solrj.SolrServer; import org
例えば、 ”髙橋”(ハシゴダカ)という文字列がインデクシングされていたとして、 ”高橋”という文字列で検索されたときに 引っかからないっていうのはなんだかなぁと。 社内の有識者の方に伺ったところ、トークナイズの手前でマッピング表を使って 変換出来る仕掛けがあるよ、と。 ＃トークナイズの前に出来るかどうか的な話はハマりどころなので別途どっかで…。 ということで、MappingCharFilterFactoryを設定してみます。 <analyzer> <charFilter class="solr.MappingCharFilterFactory" mapping="mapping_ja.txt" /> ※ <tokenizer class="solr.JapaneseTokenizerFactory"/> mapping_ja.txtは↓のような感じ "髙" => "高" インデクシングされ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
意味的知識グラフとApache Solrを使った関連語検索の実装 - Ahogrammer
2014年から稼働しているSolrをアップグレードした話｜NAVITIME_Tech
Apache Solrプラグインの開発方法（チュートリアルとデモをOSS公開しました）
RankSVMで得られたランクモデルをSolrにデプロイしてみる - 人間だったら考えて
はじめての Apache Solr を Docker で動かしてみる - Qiita
Solrを使ったPOI横断検索の基本の仕組み - Qiita
Solr のキャッシュに関するお話 - にょきにょきブログ
PHPにPECLでSolr extentionを導入する - Qiita
SolrでSlackの投稿検索をする - Hele maika'i
An introduction to machine-learned ranking in Apache Solr
Solr から使う OpenNLP の日本語固有表現抽出
サポートページ：［改訂第3版］Apache Solr入門 ―オープンソース全文検索エンジン
全文検索ソフトウェア「Apache Lucene/Solr 8.6」公開 | OSDN Magazine
Apache Solr（ソーラ）の入門知識、全文検索の構築、solrjの使い方など
Solr 9 でも DataImportHandler を使いたい - Qiita
CentOs8に全文検索ツール「Apache Solr」をインストールする手順
Solr カテゴリーの記事一覧 - CLOVER🍀
Apache Solr でサジェストを実現してみる、その２
Javaで文書検索をする (Apache Solr) | KATSUMI KOKUZAWA'S BLOG
Solrでマッピング表を用いて文字列を変換してからインデクシング＆クエリする