BigQueryのシャーディングされたテーブルをOpenSearchへ連携する方法 - コネヒト開発者ブログ
皆さん，こんにちは！最近は検索エンジニアとしての仕事がメインの柏木（@asteriam）です． はじめに 今回はTips的な記事になります．背景としては，アプリの検索ログをBigQueryに溜めているのですが，それを検索エンジンのサジェスト機能で使用するために，BigQueryからAmazon OpenSearch Serviceへデータ連携を実施しました．その際にBigQueryのシャーディングされたテーブルをどのようにして連携したかというお話になります． 検索システムのデータ基盤構築に関する過去のブログでも紹介していますが，我々はGlueを用いて検索エンジン（OpenSearch）へのデータ連携を行っています．今回はGlueを用いる点は同じですが，データソースはBigQuery，ターゲットソースをOpenSearchとしてデータ連携しました． 今回は以下の内容を紹介していこうと思います
食べログのレストラン検索を支える Debezium と Apache Kafka - Qiita
こんにちは。食べログシステム本部技術部マイクロサービス化チームの @weakboson です。 今年の Advent Calendar では食べログに Debezium と Apache Kafka (以下 Kafka) を導入してレストラン検索インデックス同期システムのパフォーマンスを爆上げした事例を紹介します。 マイクロサービス化チームとは？ 私の所属するマイクロサービス化チームには「巨大なモノリシックサービスにおける開発の辛さを解消し、少人数のチームが自律的に意思決定しながら開発するためのシステム基盤を作る」というミッションがあります。 食べログは2007年に Ruby on Rails でリプレイスしてから約15年の長期にわたって抜本的なアーキテクチャ刷新なしに開発と運用を継続しており、モノリシックで巨大なコード、かつ巨大なデータを持つ状態になっています。正直なところ現在の開発効率
Elasticsearch 8.4 から利用可能な従来の検索機能と近似近傍探索を組み合わせたハイブリッド検索を試す
2022-10-29 表題の通り、Elasticsearch 8.4 から待望の近似近傍探索と従来の検索を組み合わたハイブリッド検索が可能になったらしいので、試してみました。 Elascticsearch 8 で導入された近似近傍探索についてElasticsearch 公式の記事1がわかりやすく近似近傍探索について語られています。 また、日本語では@pakio さんの紹介記事2も非常にわかりやすいので、そちらも御覧ください。 嬉しいけど物足りない点公式の資料3や@pakio さんの資料でも触れられていますが、 You can’t currently use the Query DSL to filter documents for an approximate kNN search. If you need to filter the documents, consider using e
最近のニュース記事推薦手法まとめ 〜固有表現の利用から多様性の向上まで〜 - Gunosyデータ分析ブログ
はじめに 他ドメインと比較したニュース記事推薦の特徴 1. ライフサイクルの短さがもたらすコールドスタート問題 2. 深い言語理解の必要性 3. 明示的なフィードバックの利用の難しさ トピック別ニュース記事推薦手法 記事の人気度合い（popularity）の考慮 概要 既存研究 固有表現（Named Entity）の明示的な考慮 概要 知識グラフと知識グラフ埋め込み 既存研究 リッチな言語表現の利用 概要 既存研究 明示的なユーザーフィードバック・post click指標の利用 概要 既存研究 ユーザーの興味をより正確に捉えるアーキテクチャ 概要 既存研究 今後のチャレンジ おわりに はじめに こんにちは、Gunosy Tech Lab (GTL) Media ML チームの大竹です。Gunosyでは「情報を世界中の人に最適に届ける」というミッションのもと、グノシー・ニュースパス・LUCR
検索システムで再現率向上に取り組んだ話 - コネヒト開発者ブログ
こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、検索エンジニアとしてはほぼ未経験に近い自分が半年ほど試行錯誤した内容の一部を書き記していこうと思います。 ※筆者の経験としては、Elasticsearch✕kibanaのログ基盤は複数構築経験はありで、Elasticsearch周りの設定への知識は0ではないレベル この記事を見て、検索に詳しい方や自分もやってみたいという方がいたら是非お声がけいただけるとうれしいです。 内容は、ざっくり下記の構成になっています。 作りながら身にしみた検索システムの奥深さ 初回ABテストでは既存エンジンに惜敗。再現率向上を目指すためのチューニング これから 作りながら身にしみた検索システムの奥深さ プロジェクトの開始前に、そもそも検索システムを自社で作り運用していけるのかの当たりをつけるために、マ
私たちはいつどこで「ルー語」を身につけるのか｜ヤフー・データソリューション
こんにちは、データアナリストの小川知紘です。 以前「ルー語」が面白いと流行りましたが、最近ではすっかり私もカタカナ語を自然と使っています。※ルー語：ルー大柴さんが話す日本語をカタカナ語に置き換えた言葉 社会人になる前は「どうして伝わりづらいのにわざわざ英語やカタカナ語を使うんだろう」と思うこともよくありました。 自分は社会人になってもそうならない！と当時は思っていたはずですが、今では「MTGリスケさせてください」「ブレイクダウンしてKPI決めましょう」といった有様です… 実際仕事においてはその方が伝わる場面も多く便利ですが、日常生活でも出てしまうと自分にがっかりすることがあります。 ある日ふと、カタカナ語や外来語の浸透率を出せないかなと思い調べてみたところ、既に文化庁や国立国語研究所などで認知率などの調査がされていました。 そこで今回は少し違う切り口として、「○○とは」検索を使い、意味が分
〇〇みたいな検索作ってと言われたときに考えること / thinking before developing search system like that one
〇〇みたいな検索作ってと言われたときに考えること / thinking before developing search system like that one
宣言的かつ安全に管理するElasticsearch/Declarative management for Elasticsearch
第49回Elasticsearch勉強会での発表資料です。 https://www.meetup.com/tokyo-elastic-fantastics/events/287299123/
ニアリアルタイムで同期される検索基盤を構築 ~AWS Glueによるデータ同期編~ - コネヒト開発者ブログ
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． ここ最近は検索エンジン内製化プロジェクトに携わっていて，検索エンジニアとして，検索基盤の主にデータ連携・同期の実装を1から構築したりしていました．7月中旬にABテストまで持っていくことが出来たので，ひとまず安心しているところです．ここからはユーザーの検索体験向上のために検索品質の改善に力を入れていく予定です！ はじめに 今回新しく検索基盤をAWSのマネージドサービスを活用して構築しました！本エントリーでは，タイトルにもあるように，検索基盤の肝であるDBから検索エンジンへのデータ同期をAWS Glueを用いてニアリアルタイムで実施したお話になります．我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ET
【Lucene コードリーディングから学ぶ Elasticsearch】 ハイライト&フラグメンターの仕組み - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 エムスリーでは検索エンジンとしてElasticsearchを利用しているのですが、Highlightingのフラグメント機能でとある問題が発生しました。その問題を解決する中でElasticsearch Highlighting の内部的な仕組みを理解することの重要性を改めて感じました。 今回はエムスリーで発生した問題の共有からはじめ、どのように解決したのかはもちろん、Elasticsearch Highlighting の内部的な仕組みも一部紹介します。ちなみに今回見ていくLucene のバージョンは 8.6.2 です。 「検索結果画面がすごく伸びてるんですが...」 ElasticsearchレイヤーでみるHighlighter Plain
システムの特徴と検索機能について(検索システムに関する妄想その1)
今年の頭からシステムの検索周りを手伝う仕事をフリーランスとしてやっています。 検索の仕組みを知れば知るほど面白くなってきたからという理由になるのかな? LuceneやSolr、Elasticsearchなどを長く触っているというのもあるかと思います。 ということで、検索についていつも考えています。 頭の中でまとまっていない状況ですが、システムにおける検索機能についていくつか頭の中にあることを書き出して、 いろんな方にダメ出しやコメントをもらいたいなと思ったので、色々と書いてみようかと。 思いつきのままに書いているので、はなしがあちこち飛ぶ可能性もありますが、あしからず。 検索って難しい 「「検索」とは、データの集合から目的のデータを探し出すこと」By Wikipedia 一言で「検索」といっても、使う人、ユースケースによっていろいろな「検索」があります。 例えば、新しいスマホを買ったときに
Elasticsearch GEO系検索を試してみる(Geo-polygon、Geo-shape関連) - はてだBlog（仮称）
ElasticsearchのGEO系検索のうち、ポリゴンをからめた検索について試してみました。 www.elastic.co なお、試したのはElasticsearch 6.8ですが、7系に橋渡ししやすいクエリやMapping設定の記述としたつもりです。ただし、紙面の都合・その他の理由によりでver6系とver7系の違いそのものについては割愛しています。 GEO系クエリ 検索してみる geo_polygon検索 geo_shape検索( 以下fieldtypeのgeo_shapeと紛らわしいと考えた場合は、Geo-Shape検索などと記載しているところがあります） 前準備 検索の例 GeoJSON GeoJSONをElasticsearch検索で使うにあたり理解のしどころポイントなど geo_shape データフィールドタイプ この話の続きなど GEO系クエリ まず、Elasticsear
お手軽な検索API構築 | メルカリエンジニアリング
こんにちは、メルペイソリューションチーム所属エンジニアの＠orfeonです。 この記事は Merpay Tech Openness Month 2021 5日目の記事です。 メルペイソリューションチームでは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 自分は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 この記事ではいろいろな場面で必要とされるものの、運用負荷などの問題から導入の敷居が高い検索機能を(条件付きで)簡易に提供するためのソリューションを紹介します。 基本的なアイデア 全文検索や位置検索など、検索はいろいろな場面で必要とされる機能です。しかしいざ検索サーバを立てて運用するとなると、データの整合性やモニタリングなど考えないといけないことも多く、利用に二
10X の検索を 10x したい パートII - 10X Product Blog
今 Q もお疲れさまでした！10X の @metalunk です． 3ヶ月前に 10X の検索を 10x したい というブログを書きました．その記事にあるとおり，1-3月で検索インフラの改善を実施し，検索速度 10x, インフラコスト 80% 削減という成果をあげました．そして，直近の3ヶ月では検索精度の改善に取り組みました．この記事では今 Q にリリースした機能と，それぞれの効果を説明します． 長い記事になったので飛ばし飛ばし読んでください． どんな Q だったか KPI の変化 Zero match rate Conversion rate リリースした機能 検索キーワードサジェスト システム概要 評価 カテゴリフィルタ 並び順の改善 評価 bigram 解説 評価 シノニム辞書を Search time に展開 解説 イベントログからシノニムルールの生成 解説 改善の背景 KPI D
企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用
第16回elasticsearch勉強会の発表資料です https://elasticsearch.doorkeeper.jp/events/46539
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Log Analytics Tech Meetup】オープンソースで実現するログ分析技術入門
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
検索基盤移行時の思考
ブログを支える技術
クックパッドにおける推薦（と検索）の取り組み
