Pythonで検索エンジンを自作する方法 Part.1
2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「入門 自作検索エンジン」に登壇したのは加藤遼氏。講演資料はこちら 検索エンジン自作の入門編 加藤遼 氏：普段はサーバサイドの開発やAPI、検索まわりをやっています。技術的にはPythonやElasticsearchがメインです。このセッションにこんなに人が来ると思っていなかったので、これだけ集まってくれて大変ありがとうございます。 ここに来たということは、みなさん検索に多少なりとも興味がある方だと思います。なのでちょっとだけ宣伝させてください。検索技術勉強会という勉強会のスタッフをやってます。これは特定のライブラリに関
ElasticsearchとNode.jsで全文検索エンジンを作ろう（後編）
「全文検索エンジンってどれがいい？→ElasticsearchとNode.jsで作るといい感じ」に続き、サイト内検索などに使える全文検索エンジンをElasticsearchとNode.jsで作ります。 検索エンジンの構築 データがインデックス付けされると、検索エンジンを実装する準備が整います。Elasticsearchはクエリを定義するために、Query DSLというJSONに基づいた直感的で完全な検索クエリ構造を提供しています。利用できる検索クエリの種類はたくさんありますが、本記事ではより一般的なものについて触れます。Query DSLの完全なマニュアルはここにあります。 例として説明したすべてのソースコードへのリンクを提供しています。環境を設定し、テストデータをインデックスして、リポジトリをコピーすれば、ローカルマシンのコマンドラインからnode filename.jsとするだけでサン
検索エンジン「Elasticsearch」、Solrの人気を超える
Knowledge Base of Relational and NoSQL Database Management Systems solid ITは1月12日(ドイツ時間)、「Elasticsearch replaced Solr as the most popular search engine」において、全文検索エンジン「Elasticsearch」の人気がSolrの人気を超えたと伝えた。これまで検索エンジンカテゴリではSolrが最も高い人気を誇っていたが、人気上昇が続いているElasticsearchに抜かれる形になった。 DB-Enginesの人気度はWebサイトにおいてどの程度言及されているか、ソーシャルネットワークサービスにおいてどの程度技術的な議論の対象になっているか、そのデータベースを使用することを前提とした求人情報がどの程度出ているかなど、複数のパラメータを使って決定
全文検索エンジンってどれがいい？→ElasticsearchとNode.jsで作るといい感じ
検索エンジンライブラリーとして人気の「Elasticsearch」をNode.jsから使う方法を紹介。サイト内検索など、全文検索エンジンがつくれます。 Elasticsearchは、高い性能と分散型アーキテクチャで人気のオープンソース検索エンジンです。本記事では、主要な機能およびNode.js検索エンジン作成に使用するプロセスについて順を追って説明します。 Elasticsearch入門 Elasticsearchは、Apache Luceneをベースにした高性能テキスト検索エンジンライブラリーです。Elasticsearchではデータの格納と検索ができますが、主な用途はデータベースではなく、インデックス作成、検索、データに関するリアルタイム統計情報の提供を目標とする検索エンジン（サーバー）です。 Elasticsearchは、複数のノードを追加し別のハードウェアを利用して水平方向のスケー
localhost上にDockerでコンテナ化したElasticsearchクラスタを立てて自分用コマンド検索エンジンを作る | PSYENCE:MEDIA
完成予定図の赤の点線がElasticsearchのindexとなり、それらは一つ以上のshardによって構成されます。 shardはElasticsearchの土台となる検索エンジンライブラリApache Luceneのindexに等しいです。入力されたデータはshardsにストアされます。ここにもindexという言葉が出てくるので、混乱しないよう気をつけて下さい。 Elasticsearch Indexは複数のLucene indices(shards)の集まりと考えられ、Elasticsearchはnode間にまたがるshardsをElasticsearchのIndexにします。基本的にshardはprimaryとreplicaの２種類に分かれています。RDBでいうmasterとslaveと考えてもらっても構いません。shardsの管理などはここでは深く言及しませんが、shardsはデ
オープンソースの全文検索エンジンFessを試してみた
みなさんこんにちは。@ryuzeeです。 このWebサイト、昔はWordpressを使っていたのですが、本体やプラグインのメンテナンスを頻繁にやらなきゃいけなくて面倒なのと性能面などで辛くなって、その後Ruby製の静的サイトジェネレータであるMiddlemanに変更し、その後ビルドの遅さに耐えられなくなってGo言語で作られているHugoに置き換わっています。 静的コンテンツになればAmazon S3などで運用できるので非常に楽なのですが、一方でサイト内を検索したい場合は別の解決策の用意が必要になります。Googleの検索を埋め込んでももちろん良いのですが、調査の一環として、今回はオープンソースの全文検索エンジンFessを試してみました。 Fessの特徴公式サイトで詳細に紹介されていますが、主な特徴として以下のようなものが挙げられます。 5分で簡単に構築可能Apache ライセンスJava
OSSプロダクトにissue登録する - wyukawa's diary
僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使っています。 具体的に言うと、Fluentdでログ収集してHadoopに書き込んでAzkaban経由でHiveバッチを動かしてデータを加工してPresto, Prestogres経由でみたりしています。 また最近はKafkaやElasticsearch, Kibanaといったものも使っていますし、Prometheus, Grafanaを使ってモニタリングするようになっています。 このように数多くのOSSプロダクトを使っている理由は、部品一つ一つを自前実装していたら時間がいくらあっても足りないからです。OSSプロダクトを活用することにより、レバレッジを効かせることができます。 そしてまたOSS界隈の進化のスピードが速いので、仮に自前実装したとしてもすぐに陳腐化してしまう危険性がある。であれば最初からOSSプロダクトを使って巨人の肩
Redisで簡単Inverted index - WebPay Engineering Blog
WebPayはRailsを利用して構築しています。 今回はRailsアプリケーションでちょっと手間取る検索の高速化のTipsを紹介します。 最近のRailsアプリケーションでは、整合性が要求される基本的なデータにRDBMSを、揮発性の高いデータに高速なNoSQLを利用するパターンが一般的です。 WebPayではMySQLとRedisでこのような構成をとっています。 Redisは使い勝手がよく、高速で、データをディスクに保持することができるので、KVS系のNoSQL製品のなかでは一番汎用的に利用できる印象があります。 さて、Railsではserializeを指定して変化しがちなデータ形式をJSON等のシリアライズ形式でRDBにストアすることがあります。 メタデータなど、雑多な入力が予期されるデータには非常に便利ですが、シリアライズされたフィールドを検索しにくいという欠点があります。 Post
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kakakakakku/elasticsearch-hands-on: Elasticsearch study materials for beginners 🌵
GitHub - rwynn/monstache: a go daemon that syncs MongoDB to Elasticsearch in realtime. you know, for search.