セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
10X の検索を 10x したい パートII - 10X Product Blog
今 Q もお疲れさまでした！10X の @metalunk です． 3ヶ月前に 10X の検索を 10x したい というブログを書きました．その記事にあるとおり，1-3月で検索インフラの改善を実施し，検索速度 10x, インフラコスト 80% 削減という成果をあげました．そして，直近の3ヶ月では検索精度の改善に取り組みました．この記事では今 Q にリリースした機能と，それぞれの効果を説明します． 長い記事になったので飛ばし飛ばし読んでください． どんな Q だったか KPI の変化 Zero match rate Conversion rate リリースした機能 検索キーワードサジェスト システム概要 評価 カテゴリフィルタ 並び順の改善 評価 bigram 解説 評価 シノニム辞書を Search time に展開 解説 イベントログからシノニムルールの生成 解説 改善の背景 KPI D
ただのソフトウェアエンジニアが検索エンジニアになるまで - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2022 Advent Calendar 2022の延長戦31日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 検索エンジニアってどこで採用できるの？ という話を至る所でよく聞きます。僕自身も、自ら検索エンジニアと名乗るエンジニアにほとんど出会ったことがありません。やはり、世の中の検索にまだ魅了されていないエンジニアを情報検索の世界に引き込むしかないので、今回は僕が情報検索にハマった経緯を紹介することで一人でも多くのエンジニアを情報検索の世界に引き込めればと思います。 情報検索との出会い 情報検索の探索 発展 まとめ 情報検索との出会い 僕が最初に情報検索に出会ったのは前職の白ヤギコーポレーションでした。そこではElasticse
SearchSage: Learning Search Query Representations at Pinterest
Nikil Pancha | Software Engineer; Andrew Zhai | Software Engineer; Chuck Rosenberg | Head of Advanced Technologies Group; and Jure Leskovec | Chief Scientist, Advanced Technologies Group Pinterest surfaces billions of ideas to people every day, and the neural modeling of embeddings for content, users, and search queries are key in the constant improvement of these machine learning-powered recommen
ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に
Search Engineering Newsletter vol.09
今回のイチオシ記事は、Doug さんの What is a Relevance Engineer? と Ubie さんの Esqa の記事です。 Search#Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜 ubie-oss/esqaという Elasticsearch の検索品質をテストできる OSS の紹介。 検索結果に対して、アサーションや過去と現在のランキングの比較を距離として計算してしきい値以上で計算する事ができるらしい。 検索結果のチューニングの辛い点をできるだけ緩和できそうで、これは便利そう。ステートフルなシステムである検索システムをデグレなどを考慮して日々のメンテナンスするの大変ですよね… What is a Relevance Engineer? - OpenSource Connections 日本だとあまり聞き慣れない Relev
クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
1. Luceneの概要
1.1. Luceneについて LuceneはJakartaプロジェクト1 によって開発された、 100% PureJavaのインデックスを作成するタイプの全文検索エンジンです。 （インデックスとは、高速で検索するためにつけられた索引のことです。） Luceneそのものはライブラリであり完結したプログラムではありませんが、 Luceneが提供するAPIを用いることで、簡単に使いやすい全文検索プログラムを作ることが出来ます。 またJavaで書かれているため、Webアプリケーションへの適応が簡単に行えます。 Lucene自体は日本語を解析することが出来ませんが、形態素解析プログラムを利用することで日本語を検索することも可能になります。 形態素解析とは文字列を品詞毎に分解する技術です。 例えば 「今日は良い天気です」 という文字列に対して形態素解析を行うと 「今日」「は」「良い」「天気」「です」
知っているとファイル検索が変わる「mdfind」 - 新・OS X ハッキング!(112)
2014年最初の今回は「mdfind」について。知る人ぞ知るSpotlightを利用したファイル検索用コマンドだが、他のコマンドと組み合わせて実行すると、GUIのSpotlightでは難しい検索が可能になる。これまで度々当コラムで紹介しているものの、体系的に紹介していないことに気付き、いまさらながら取りあげようという算段だ。 OS Xにおける「Spotlight」 OS X Tigerのとき登場したSpotlightは、「デスクトップ検索機能」などという言葉で紹介されることが多い。それ自体は正しいが、木を見て森を見ずの喩えもあるように、全体像を見誤る可能性がある。なぜなら、メニューバー右端やショートカットキーから呼び出すSpotlightフィールドは「Spotlightという検索システムの外側(フロントエンド)」であり、その核心部分は他に存在するからだ。 Spotlightの核心部分とは、
Amazonだけじゃない！ 読みたい本を見つけられる検索サイトまとめ - はてなニュース
ネットで本を探すとき、真っ先に利用しがちなのがAmazon.co.jpです。でも、ほかにも書籍を検索できるWebサイトはたくさんあります。思いついた文章を入力するだけで検索できたり、絵本や美術書などの目的に特化していたりと便利な使い方ができるサイトも。はてなブックマークで見つけた、7つの書籍検索サイトを紹介します。 ■ とにかく見つける！ 図書館蔵書検索サイト 最初に紹介するのは、図書館の蔵書を検索するサイトです。「貸し出し状況を確認できる」「絶版本を見つけやすい」などの特徴があります。 ▽ カーリル | 日本最大の図書館蔵書検索サイト はてなブックマークニュースでも何度か紹介している「カーリル」は、全国5,000館以上の図書館や図書室の蔵書を検索できるサイトです。図書館での貸し出し状況も確認できます。さらに「カーリルアカデミア」では、700館以上の大学図書館の蔵書も併せて検索できます。
googleで賢く探すために最低知っておくべき５つのこと／検索テクニック、ノウハウ、裏技の手前に
検索オプションや演算子の紹介や「辞典になる」「電卓になる」みたいな機能紹介は省く（これについては、googleのヘルプか、たとえばここhttp://search.web-sun.com/g_help.htmlを参照）。 以下では、基本の考え方と、それを受けて、では具体的にどう検索するかを、いくつかの事例をつかって簡単に説明する。 どれも知っている人には当たり前のことばかりだが、このあたりのことをまとめたものは意外に少ないようなので、メモ代わりになるようにまとめてみた。 まとめたのは最低限のものであって、取り上げるべき事項は他にもいろいろあるだろうが、簡素なのがウリということで。 考え方は、googleで検索するときだけでなく、調べもの全般に用いることができると思う。 １．（基本）「○○について××が知りたい」→検索語「○○ ××」 ［例］富士山の高さが知りたい （考え方） →富士山の高さが
ウェブ学会シンポジウム：「日本の著作物、世界から無視される恐れも」 長尾館長、Googleブック検索「対象外」に懸念 - ITmedia News
「日本の著作物、世界から無視される恐れも」 長尾館長、Googleブック検索「対象外」に懸念：ウェブ学会シンポジウム 「世界のすべての人から、日本の著作物が無視されることになるかもしれない」――Googleブック検索和解案で、日本を含む英語圏外の国の著作物が対象外となったことについて、国立国会図書館の長尾真館長は12月7日開かれた「ウェブ学会シンポジウム」（東京大学）の基調講演で懸念を示した。 日本の一部の出版社などは、和解案が日本の書籍にも及ぶことに強く反対してきた。反対派の著作権者にとって、和解案の修正は「ハッピー」だったと長尾館長は話す。 だが「（米英などで）たいていの人がGoogleブック検索で本を調べるが、日本の書物は一切出てこない」という結果になることを懸念。Googleブック検索に参加しないなら、「日本独自で書物をきちんとスキャンし、世界にネット発信していくという努力がない限
Home | Plus Venture Capital
ENTREPRENEURS + EXPERIENCE IT ALL ADDS UP We know what it takes to make the numbers work. With over 200 transactions under our belts, we are one of the most seasoned investors in the MENA region, funding bright talent that are bringing the next generation of tech-enabled companies over the last 10 years. Apply Now BUILT TO HELP YOUR STARTUP GROW FIRST SLOW, THEN FAST We are truly founder focused;
RDBMSをブラックボックスにしない：ITpro
複数トランザクションの同時実行編 トランザクションが複数同時に実行される時，RDBMSはどのような仕組みで，それぞれのトランザクションの独立性を保つのかを説明します。これを理解することにより，さらに良いトランザクション処理のアプリケーションを開発することができるようになります。 目次 第1回 ほかのトランザクションからの影響 第2回 1番ゆるい分離レベル（リードアンコミッティド） 第3回 2番目にゆるい分離レベル（リードコミッティド） 第4回 3番目にゆるい分離レベル（リピータブルリード） 第5回 1番きつい分離レベル（シリアライザブル） 更新処理とトランザクション編 「RDBMSの更新処理とトランザクションの関係は難しい」――。こう思っている読者の方は少なくないでしょう。アプリケーションを開発するだけなら，更新処理とトランザクションの関係をきちんと理解していなくても，「見よう見まね」の開
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 言語処理のための機械学習入門 (自然言語処理シリーズ 1): 高村大也: 本
情報検索・検索技術 Advent Calendar 2022 - Adventar
グーグル、検索で国ごとに最適化 アジア主要国にチーム ニーズに対応、開発分散 - 日本経済新聞
Amazon.co.jp: 推薦システム実践入門 ―仕事で使える導入ガイド: 風間正弘, 飯塚洸二郎, 松村優也: 本