こんにちは、アプリケーション基盤チームの渡辺です。好きなライブラリはLombokです。 アプリケーション基盤チームでは、Necoプロジェクト(アーキテクチャ刷新プロジェクト)の一環として、 次世代の検索基盤を検討していて、その候補としてElasticsearchを調査しています。 調査をしている中で、Ingest Node用のプラグインを試作しました。 Ingest Nodeとは、Elasticsearch 5.0.0 (2016/7時点ではalpha4までmaven centralにpublishされている)で追加された機能で、 インデクシング時にドキュメントに変換処理を適用できるなんだかすごいやつです。Ingest Node自体の説明はElastic{ON}のスライドが参考になります。 せっかくプラグインの作り方を調べたので、公開して似たようなことをする人の参考になれば良いな、というこ
こんにちは、LINE でスタンプ・着せかえショップのバックエンド開発をしている川田 (@hktechno) です。 この記事は、LINE Advent Calendar 2016 の 6 日目の記事です。 今年の4月に、Java も Elasticsearch もまともに知らなかった新卒エンジニアが Elasticsearch クラスタの管理を突然任されて苦労した話をしようと思います。 Elasticsearch とは Elasticsearch は、Elastic 社が開発している検索・分析エンジンおよびそのストレージを担うソフトウェアです。簡単に言えば、検索に特化したクエリを投げることができるデータベースのようなものです。No-SQL 型の DB といっても良いと思います。 Elasticsearch のすごいところは、大量のドキュメントの中から形態素解析や n-gram など自然言語
Any time that you start an instance of Elasticsearch, you are starting a node. A collection of connected nodes is called a cluster. If you are running a single node of Elasticsearch, then you have a cluster of one node. Every node in the cluster can handle HTTP and transport traffic by default. The transport layer is used exclusively for communication between nodes; the HTTP layer is used by REST
Elastic Docs ›Elasticsearch Guide [8.11] ›Deleted pages « Cluster name setting Leader index retaining operations for replication » Heap size settingsedit See Heap size settings. « Cluster name setting Leader index retaining operations for replication » Most Popular Video Get Started with Elasticsearch Video Intro to Kibana Video ELK for Logs & Metrics
ども、藤本です。 現地時間 8/31 に Elastic Stack の次期メジャーバージョンの 6.0.0 Beta 2 がリリースされました。 Elastic Stack 6.0.0-beta2リリース 過去の Elasticsearch はメジャーバージョンバージョンアップ時に機能が変更となったり、非推奨になったり、廃止になったり、大きな変化を行ってきました。今回の 5系 → 6系に際しても大きな変化があるはずです。ということで Elasticsearch 6系の Breaking Changes に目を通してみました。今回は私が気になった項目をご紹介します。利用方法によって影響する項目は異なるので 6系をご利用される方は一通り目を通すことを推奨します。 Breaking Changes Breaking Changes バージョン 2系以前に作成されたインデックスは読み取れない E
Elasticsearch x Autoscaling(AWS) 1. Amazon Web Searvice で実現する elasticsearchの大規模運用 × 株式会社インティメート・マージャー 松田和樹 2. 自己紹介 松田 和樹 株式会社インティメート・マージャー(社員数9名) 開発本部 • パブリックDMP「AudienceSearch」の開発 • 主にインフラ周りを担当 3. アジェンダ • IMにおけるelasticsearchの使われ方 • elasticsearchの構成 • 構成の決め方 • AutoScalingのポイント • その他設定のポイント 4. elasticsearchの使われ方 約4億のユニークIDに対して様々な属性情報を付与 • 閲覧履歴に基づくキーワード • 各メディアより提供されるセグメント • User Agent • アクセス元IPに基づく
検討した結果、採用することにしたので、その過程の理由を。 Elastic Stack を使うことにしたのはいいが、サーバをどう構築するかは決め兼ねていた。 普段から使っている Vultr という VPS サービス上に構築する予定だったのだが、そこそこめんどくさい。落ちた時、ディスク不足などを考える必要がある。 そこで次は AWS の CloudSearch を検討することにしたが、いまいち使いづらい。こちらとしては運用を丸投げしたいだけなのだが、しっくり来ない。転送量課金もある。これは仕方がないが。 そこで Elastic が提供している Elastic Cloud を試してみることにした。 自分が思いつく要求をまとめる。 運用に手間がかからないあまり高くない予算は月 2 万円程度使う側は Beats だけを意識していればいいKibana も運用してほしいサーバは東京にあって欲しい転送量で
Project for Public Spaces & National Center for Biking and Walking•6.9K views
We created a ‘related items’ feature way back in Clearspace 1.0 (I mocked some of it out here just to prove that it worked) which shows related content based on the document, thread or blog post that you’re currently viewing. It was built using the MoreLikeThis class, a contribution made to the Lucene project by David Spencer, Mark Harwood and my favorite Canadian coworker Bruce Ritchie. The reall
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く