Luceneのメモリ上でのインデックス構造とその仕組み - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン
Frame of Reference and Roaring Bitmaps
Postings listsWhile it may surprise you if you are new to search engine internals, one of the most important building blocks of a search engine is the ability to efficiently compress and quickly decode sorted lists of integers. Why is this useful? As you may know, Elasticsearch shards, which are Lucene indices under the hood, split the data that they store into segments which are regularly merged
Lucene lecture at Pisa
Package: org.apache.lucene.analysis An Analyzer is a TokenStream factory. A TokenStream is an iterator over Tokens. input is a character iterator (Reader) A Token is tuple <text, type, start, length, positionIncrement> text (e.g., “pisa”). type (e.g., “word”, “sent”, “para”). start & length offsets, in characters (e.g, <5,4>) positionIncrement (normally 1) standard TokenStream implementations are
Text processing (part 2): Inverted Index
This is the second part of my text processing series. In this blog, we'll look into how text documents can be stored in a form that can be easily retrieved by a query. I'll used the popular open source Apache Lucene index for illustration. There are two main processing flow in the system ... Document indexing: Given a document, add it into the index Document retrieval: Given a query, retrieve th
moco(beta)'s backup: [翻訳] Using Finite State Transducers in Lucene
Lucene/Solr Advent Calendar 2014 22日めです。 第15回Solr勉強会で、ごく軽くLucene FST の紹介をしたのですが、自分もまだまだ勉強中です。ということで Lucene 開発者の Mike さんに、だめもとで「ブログのFST 関連のエントリを翻訳していいですか？」とメールを送ってみたところ、「いいよ！」と快諾してもらえたので、ここに掲載します。 —- 関連する話題ですが、 Golang で書かれた形態素解析器 kagome を作っている @ikawaha さんが、Lucene を絡めて猫にもわかる（かもしれない） FST の解説を書いてくださいました。ありがとうありがとう（；ω；）！アルゴリズムの説明から Double Array との比較まで至れり尽くせりなのであわせてどうぞ。 Luceneで使われてるFSTを実装してみた（正規表現マッチ：VM
![moco(beta)'s backup: [翻訳] Using Finite State Transducers in Lucene](https://cdn-ak-scissors.b.st-hatena.com/image/square/77d318a372491738cf7b65d7f6175d3c375a4701/height=288;version=1;width=512/http%3A%2F%2Fmedia.tumblr.com%2F572c54507b5a6157d76d225cfc7fa3bf%2Ftumblr_inline_ngwt2vmr2e1qmxdmr.png)
Lucene: The Good Parts
Before MongoDB, before Cassandra, before “NoSQL”, there was Lucene. Did you know that Doug Cutting wrote the first versions of Lucene in 1999? To put things in context, this was around the time Google was more a research project than an actual trusted application. Google’s proof-of-concept search engine was still a sprawling set of desktop computers in Stanford’s research labs. I worked on my firs
CrateDB – The Enterprise Database for Time Series, Documents, and Vectors
/* Based on device data, this query returns the average * of the battery level for every hour for each device_id */ WITH avg_metrics AS ( SELECT device_id, DATE_BIN('1 hour'::INTERVAL, time, 0) AS period, AVG(battery_level) AS avg_battery_level FROM devices.readings GROUP BY 1, 2 ORDER BY 1, 2 ) SELECT period, t.device_id, manufacturer, avg_battery_level FROM avg_metrics t, devices.info i WHERE t.
検索エンジンLuceneの歴史とこれから - ワザノバ | wazanova
http://www.youtube.com/watch?v=5444z-L2V2A 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Luceneのオリジナルの開発者であるDoug Cutting（ClouderaのChief Architectと Apache Software FoundationのDirectorを兼務）が、Luceneの歴史と今後の展開を紹介しています。 検索サイトExciteに勤務していた1997年に開発開始。当時新しくでてきたJavaを使ってみたかった & ネットバブルが弾けるのが不安で何かかたちに残るものをつくっておきたかった。2000年にオープンソースとして提供。Solrは2006年、Solr Cloudが2012年。昨年にはHadoopプラットフォームの検索エンジンに
What is in a Lucene index
Presented at Lucene Revolution 2013 in Dublin.
OSSの類似画像検索プロジェクト Apache alike のご紹介 - 株式会社ロンウイット
alike での類似画像検索の主要な部分は上記の既存OSSを利用しているため、alike 自身は非常にコンパクトな構造になっています。下図にalikeのアーキテクチャを示します。 Apache alikeのデモ 下記のリンクをクリックすると、類似画像検索を体験できます。リンクをクリックして表示された画面の一番上の画像が「検索元」の画像で、2番目以降の画像が検索元と似ていると判断された類似画像一覧です。Luceneにより「似ている順」に表示されています。 http://rondhuit-demo.com/p/alike/ukbench/full/ukbench01700.jpg http://rondhuit-demo.com/p/alike/ukbench/full/ukbench01990.jpg http://rondhuit-demo.com/p/alike/ukbench/full
64ビットプラットフォームで絶対お勧めのLuceneのMMapDirectory （Uwe氏のブログより） | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
セールスフォースのアーキテクチャ（物理アーキテクチャ編）～ Podによるスケールアウト
米国の計算機学会として知られるACMが主催したクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」（ACM SOCC 2010）が6月10日、11日にインディアナ州インディアナポリスで開催されました。 基調講演には、グーグル、Facebook、セールスフォース・ドットコムというクラウド業界のトップベンダーが登場し、それぞれのクラウドについて語るという内容でした。ここではその基調講演から、セールスフォース・ドットコムのRob Woollen氏による同社クラウドのアーキテクチャの解説を紹介します。おそらくこれまででもっとも詳しく、同社のクラウドアーキテクチャを解説したものになっています。 セールスフォースのマルチテナントアーキテクチャとは Rob Woollen氏。講演タイトルは「Inside Cloud:Salesforce.
Lucece Indexing
Berlin Buzzwords 2013 - How does lucene store your data?Adrien Grand
Fast Intersection of Sorted Lists Using SSE Instructions
Intersection of sorted lists is a cornerstone operation in many applications including search engines and databases because indexes are often implemented using different types of sorted structures. At GridDynamics, we recently worked on a custom database for realtime web analytics where fast intersection of very large lists of IDs was a must for good performance. From a functional point of view, w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - quickwit-oss/tantivy: Tantivy is a full-text search engine library inspired by Apache Lucene and written in Rust
Chronix: Long term storage and retrieval technology for anomaly detection in operational data | the morning paper
Hacking Lucene - The Index format - Hacker Labs
https://archive.apachecon.com/eu2012/presentations/06-Tuesday/PR-Lucene/aceu-2012-lucene-4-performance-tuning.pdf
http://blog.griddynamics.com/2011/04/indexes-rdbms-vs-coherence-vs-lucene.html
MOPID | Accelerate Your Hiring Process - Hire the Best, 10x Faster