全文検索エンジンMeilisearchを試す | フューチャー技術ブログ
はじめにこんにちは、TIGの岸本卓也です。 春の入門連載2024 の3番目です。 ある静的サイトジェネレーターで生成された膨大なドキュメントの検索において、全文検索機能はあるものの以下の課題を感じることがありました。 探したいものがヒットしないことがあるどこがヒットしているのか謎なものが検索結果に含まれることがあるクライアントサイドで動くため、ページ読み込み時に数十MBと大きいことも多いインデックスファイルをダウンロードするため、ページの読み込み完了が遅い原因になっている検索にヒットしない場合は、欲しい情報がありそうなページをリンクから辿って個別に探すしかないのです。しかしこれは手間です。 このような課題を解決すべく新たな全文検索エンジンを探す中でMeilisearchという製品を見つけました。Meilisearchは日本語の検索においても良さそうでかつ手軽に試せたので、試した内容を紹介し
Twitter/Blueskyの自己ポストの全文検索サービスをNext.js App Router(RSC)で書きなおした方法/設計/感想
mytweetsという自分の Twitter/Bluesky の自己ポストの全部検索サービスをNext.js App Router(RSC)で書きなおしました。 mytweets は Twitter のアーカイブや Bluesky の API を使って自分のポストを S3 に保存しておき、 S3 Selectを使って全文検索ができる自分専用の Twilog のようなサービスです。 自分の Tweets をインクリメンタル検索できるサービス作成キット と Tweets をまとめて削除するツールを書いた | Web Scratch 過去の Tweets を全文検索できる mytweets を Bluesky に対応した。自分用 Twilog みたいなもの | Web Scratch 最初は CloudFront + Lambda@Edge + Next.js Pages Router で動かし
静的サイトに特化した全文検索ライブラリ「Pagefind」、さくらのレンタルサーバで動かしてみた
先日、静的サイトに特化した全文検索ライブラリとして「Pagefind」というソフトウェアがあることを、下記の記事が話題になったことで知りました。 参考：静的サイトに特化した検索ライブラリ Pagefind を試す | grip on minds 実は、いまお読みのPublickeyはまさに、Movable TypeというCMSを用いて生成された静的なWebサイトです。現在、PublickeyではGoogleが提供している「Googleカスタム検索エンジン」を全文検索エンジンとして採用しています（右上の虫眼鏡アイコンから呼び出せます）。 しかしPublickeyでは以前からGoogleに依存しない、自前の全文検索エンジンを持てないかと模索しており、まさにPagefindは私が探し求めていたソフトウェアだったと言えます。 そこでさっそくPagefindがPublickeyに導入できるかどうか、
静的サイト向けの全文検索エンジンと UI ライブラリの Pagefind
デモとして、このブログに Pagefind を導入してみました。ヘッダーの検索アイコンをクリックすると検索フォームが表示されるので、キーワードを入力して検索してみてください。 使い方 Pagefind は構築済みの UI ライブラリと、CLI コマンドとしてインデックスを作成するためのツールから構成されています。まずは UI ライブラリの部分から見てみましょう。 UI ライブラリ Pagefind の UI ライブラリは、検索フォームと検索結果を表示するためのコンポーネントから構成されています。この UI は以下のコードを追加するだけで簡単に利用できます。 <link href="/pagefind/pagefind-ui.css" rel="stylesheet" /> <script src="/pagefind/pagefind-ui.js"></script> <div id="s
Elasticsearch vs OpenSearch ー パフォーマンス比較の結果が公開
8月8日、ElasticsearchとOpenSearchのパフォーマンスとリソース利用に関する分析結果が発表されました。 この比較によると、ElasticsearchはOpenSearchに比べて40％〜140％高速であり、より少ない計算リソースを使用しています。 この記事では、テキストクエリ、ソート、日付のヒストグラム、範囲、および用語などの6つの主要な領域でのパフォーマンス比較結果を詳しく紹介します。 以下に詳細をご紹介します。 Elastic社は、2023年8月9日、ElasticsearchとOpenSearchの性能とリソース利用に関する比較結果を公開した（Elasticsearch vs OpenSearch: Performance and Resource Utilization Analysis）。 Elasticsearchは、Elastic社によって開発された検索エ
Amazon KendraでPowerPoint, Excel, Wordファイルの全文検索を試してみた | DevelopersIO
Amazon Kendra で Microsoft PowerPoint, Excel, Word ファイル内の文字を検索する全文検索を試してみました。 Amazon Kendra は次ファイル形式に対応してり、Excel ファイルの検索は既にブログになっています。 HTML files Microsoft PowerPoint (PPT) presentations MS WORD documents Plain text documents PDFs Comma Separated Values (CSV) files Microsoft Excel (MS EXCEL) files XML files JSON files Markdown Documentation (MD) files Rich Text Format (RTF) files Extensible Stylesh
noteの検索をCloudSearch からElasticsearchに移行しつつある話｜chov
記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタグの検索 ユーザの検索 マガジンの検索 記事の検索 メンバーシップの検索 CloudSearchを利用した検索結果これまではCloudSearchを利用していましたが、2022年の4月ごろからElasticsearchへの移行プロジェクトを始め、この記事が公開される2023年2月時点でほとんどの検索をElasticsearchに移行するところまで進みました。 本稿では移行プロジェクトの進め方や検証の手法について解説しますが、これから全文検索エンジンの導入・移行を行う方の参考になれば
「モノタロウの1900万商品を検索するElasticsearch構築運用事例」のポイント深掘り〜第50回 Elasticsearch勉強会後記〜 - MonotaRO Tech Blog
こんにちは。 EC基盤グループ サーチチームの 山村です。 この記事は、 Elastic Stack (Elasticsearch) Advent Calendar 2022 の 23日目です。 2か月ほど前になりますが、2022年10月26日に実施された 第50回 Elasticsearch勉強会 で発表させていただきました。 私が外部での発表するのは、2016年6月のSolr勉強会 以来で、非常に緊張しました。 日々の業務にかまけて、ブログが後回しになっていたことで大変遅くなってしまいましたが、上記の発表で話した内容とスライド資料から、話したかったポイントを抜粋するとともに、勉強会で不足していた部分について補足をします。 当日、発表を終えたところで気が抜けてしまい、Twitter で頂いていた質問に満足に答えられませんでしたので、この場で補足説明を含めて出来るだけ回答したいと思います。
Rust 製の全文検索システム Tantivy を Ruby で使える Tantiny を導入した
過去記事ページの UI 考察 ずっと過去記事をどうやって効率よく見せるか（自分自身が効率よく読むか）ばかり考えている。一つ前の記事では絞り込み UI について書いた。ブログというものが生まれたとき、誰も 10 年以上にわたっ... portalshit.net ブログのアクティビティダッシュボード Archive ページにこだわってしまう理由、グラフを表示させてみて（ブログ過去記事をカテゴリーごとに集計してグラフ化 - portal shit!）何となくわかった気がする。過去記事ページとい... portalshit.net このブログの維持管理で一番時間を割いているのが Archives ページだ。しかしアクセスログを見ると自分以外はほとんど利用していない。完全に自己満なのだが、過去の自分を振り返ることができてとても自分には有意義なページだ。 過去記事を振り返るときには検索をしたくなる。
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに
Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement lawsuit. Learn more on our blog: https://t.co/738RR78bRD — Elastic (@elastic) February 16, 2022 発表によると、今後AWSおよびAWS Marketplace上でElasticsearchサービスと名乗るのは、Elasticが提供するElastic
「Cloudflare + OpenSearch + Lambdaで始める全文検索開発入門」というテーマで喋りました #devio2021 | DevelopersIO
Developers.IO 2021 Decadeという弊社オンラインイベントにて、「Cloudflare + OpenSearch + Lambdaで始める全文検索開発入門」というテーマでお話させていただきましたので、紹介します。 セッション概要 現在開発に携わっているプロフィールビュアーサービスProfllyでは、検索エンジンとしてAmazon OpenSearch Serviceを採用しています。 サーバーレス環境において、コストを抑えつつ快適にOpenSearchを利用できる開発環境を準備すべく、Cloudflareを利用したOpenSearch + Lambdaの構築方法を解説します。 動画 スライド アジェンダ Amazon OpenSearch Service + Lambdaを組み合わせた全文検索 開発のためのローカル環境OpenSearch構築 Cloudflareを利用
高速日本語全文検索「Mroonga」で編集部の専用過去記事検索を爆速化し作業効率を上げてみた
GIGAZINEでは新しい記事を作成する際に過去に同じ内容の記事がないかチェックしています。2021年8月の時点で7万件以上存在する記事の中から標準で用意している検索フォームで検索すると、結果が返ってくるまでの時間が遅く作業効率が悪くなるという問題が発生していました。そこで、過去記事を素早く検索するための検索システムを作成してみました。 既存のシステムに影響を与えないように、新たに高速で検索できるデータベースアプリケーションを組み込んだサーバーを用意します。今回は、Ubuntu Server 20.04.2 LTS上にMroongaを用意しました。 Mroonga - MySQLで高速日本語全文検索 https://mroonga.org/ja/ インストール手順を参考に設定してインストールします。 universeリポジトリーとセキュリティアップデートリポジトリを有効にします。 $ su
Replacing Elasticsearch with Rust and SQLite
Replacing Elasticsearch with Rust and SQLite Published on: November 21, 2017 Caveat: Elasticsearch is a multi-purpose, distributed, battle-tested, schema-free, log and document storage engine. We’ll be replacing it with a single-purpose, relational schema, me-tested, and custom nginx access log storage engine. Knowing that, let’s begin. Find this project on Github After building my home server, I
Doubling Down on Permissive Licensing and the Elasticsearch Lockdown
CrateDB Doubling Down on Permissive Licensing and the Elasticsearch Lockdown TL;DR Crate.io will: no longer use Elastic’s Elasticsearch as an upstream project for CrateDB and will switch to a fork open source its entire codebase under the APLv2 with CrateDB 4.5 As you might already know, CrateDB relies on Elasticsearch code for its inner workings. A few days ago Elastic announced that they closed
AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク 独自のオープンソース版へ
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ」（2021年1月25日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）はこのほど、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表しました（AWS日本語ブログ）。 これはElasticsearchとKibanaの開発元である蘭Elastic社が、AWSはElasticsearchの商標を無断で利用しているなどとしてAWSを名指しで非難し、AWSの商用利用を制限するライセンス変更を発表したことに対抗する措置として行われる
AWSをElasticが名指しで非難 ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ」（2021年1月21日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更することを発表しました。 その目的は、AWSが勝手にElasticsearchとKibanaをマネージドサービスとして提供できないようにするためであると、同社CEO Sha
ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET
AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散型SNS「マストドン」、待望の全文検索機能を追加。他サーバーの公開投稿もまとめて検索可能に【やじうまWatch】
OpenSearch – open-source search and analytics based on Apache 2.0 Elasticsearch | Hacker News
https://mail-archives.apache.org/mod_mbox/www-announce/202008.mbox/%3CCAD4GwrP+8r8W2GDDwaFb=XbP+QGfrbkS_kOhTAdjDRbPkS2=Aw@mail.gmail.com%3E