fluent-plugin-elasticsearch の開発を引き取りました - 2017-12-27 - ククログ
fluent-plugin-elasticsearchはよく使われているプラグインではありましたが、長らく開発が滞っていました。 @pitrさんと@dterrorさんからコミット権をもらって gem owner に加えてもらったので 本プラグインの開発を引き取りました。 開発を引き取ってからの主な変更点は以下の通りです。 elasticsearch-rubyのネットワーク周りのログ出力を有効化するオプションを追加 組み込みのプレースホルダーサポート Elasticsearchのテンプレートの上書きに対応 レコード重複を軽減する仕組みの作成 特定のエラー時の再試行 非ASCII文字のURLエンコード用のプレースホルダーの追加 SSL/TLSのバージョンを指定するパラメーターの追加 ナノ秒対応 fluent-plugin-elasticsearchの使い方はREADME.mdを参照してください
自宅のElasticsearchとKibanaをAmazon Elasticsearch Serviceに引越し - yasuhisa's blog
例のごとく簡単なことしかやっていないのであまり参考にならないかもしれないですが、アクセスポリシーや自宅からどうやってAmazon Elasticsearch Serviceにデータを流すか、kibanaで閲覧するかは参考になる人がいるかもしれません。前置き終わり。 なぜMac MiniからAmazon Elasticsearch Serviceへ? AWSの設定 Amazon Elasticsearch Serviceの設定 データを流す先をMac MiniからAmazon Elasticsearch Serviceに変える 各種情報をMackerelで見れるように なぜMac MiniからAmazon Elasticsearch Serviceへ? 約二年前から自分に関連する可能な限りの情報(お金や位置情報、作業時間などなど…)をElasticSearchに放り込み、kibanaで可視化
Elasticsearchの前方一致について考える - Carpe Diem
概要 以前Prefix Query の注意 - Carpe Diemで述べたように、PrefixQueryはsearch queryがnot_analyzedになるので意図しない結果になることがあります。 一方で前方一致は検索の利便性を向上させる上でメリットが大きいので、入れておきたい要素でもあります。 今回は前方一致を考える上で何が良いかを調べてみました。 環境 Elasticsearch 5.2.1 Prefix Query メリット 文字通り前方一致のクエリであることが分かる デメリット search analyzerは指定できないので、index時にnormalizeで小文字などにしてしまうと、大文字による検索でヒットしない 内部的にはregexpによる一致なので短いと重い 特に後者は短い文字でも表示する場合だと非常に無駄が多く、 ref:Elasticsearch Queries
Reindexが登場!
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
自分のブログに Elasticsearch + Vue.js で検索機能を付けたという発表をした | feedforce Engineers' blog
こんにちは。寒がりすぎな増田です。いつからだろう？ 先週金曜日に社内勉強会で掲題の発表をしました。感想や質問も頂いたので、返信という形で記事として記録しておきます。 スライド 発表の内容 https://masutaka.net/chalow/ に自前で検索機能を付けた https://masutaka.net/chalow/search.html フロントエンドは Vue.js で実装。バックエンドは nginx のリバースプロキシを介した Elasticsearch 今のところ、記事データの Index は Elasticsearch の Bulk API でデプロイのたびに作り直している ついでに Google Custom Search Engine でも実装した https://masutaka.net/chalow/search-google.html 『ChangeLog メ
node.js で elasticsearchを使ってみる - MANA-DOT
node.jsはいろんなパッケージがあるので色々出来る！いろんなことをちょっとやってみるのに捗る！全文検索もできたらもっといろんなこと出来そう！ そうnpmを探してみたのですが、node.jsネイティブな全文検索エンジンは見つけたもののまだアルファ版だったりしたので、最近よく聞くelasticsearchをnode.jsから使ってみました。 elasticsearch とは Solrとかgroongaとなどが競合の全文検索エンジンです。 予めテキストデータをインデキシングしておいて、文字列を投げるとそれを含むデータを引いてきてくれるやつですね。 詳しくは調べてないので、他の競合と比べての優位点がわかっていませんが、 RESTfulなAPIにJSONを投げることで、インデキシングや検索を行え、結果もJSONで返ってくる点がユニークな点であると思います。 また、httpでJSONを投げるとJS
Elasticsearchのアナライザの設定 - Carpe Diem
概要 Elasticsearchでアナライザを設定する方法です。 N-gramや形態素解析などありますが、今回は単に設定する方法だけを紹介します。設定方法は主に以下の３通りがあります。 configで設定する インデクス全体に設定する 各フィールド個別に設定する これらを順に説明していきます。 環境 Ubuntu 14.04 Elasticsearch 1.4.2 事前知識 アナライザの構成要素 アナライザは次のように構成されています。 ref: Writing analyzers | Elasticsearch.Net and NEST: the .NET clients [2.x] | Elastic 要素 説明 例 順番 個数 Char Filter 文字レベルの前処理 Unicode正規化 HTMLエンティティの除去: & を & に変換する 1 0~n Tokenizer テキス
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
Elasticsearchのbool queryを利用してAND OR NOTを書いてみる - Qiita
初めてElasticsearchのクエリをビルドしたのでいろいろハマりました。SQLの世界観とちょっと違っていて、なれるまで時間がかかると思います。でも、なれたら複雑な検索条件をSQLより簡単に書けるかも知れません。 では、Elasticsearchの基礎クエリの一つ、Bool Queryを解説してみます。 Bool Queryについて Elasticsearch 2.0からandクエリとorクエリは全部非推奨になり、その代わりにboolクエリの方が推奨されます。Boolクエリは複数のクエリを組み合わせる（つまりAND、OR、NOTで結合）のに使います。 Boolクエリは４種類があります：must、 filter、 should、 must_notです。 クエリ 説明
Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能
ElasticSearch と Kuromoji で日本語検索エンジンを作る : まだプログラマーですが何か？
# yum install java-1.7.0-openjdk 次に検索エンジンである ElasticSearch 本体を導入します。公式サイトから最新版（2016/07/11時点では 2.3.4）のインストールモジュールをダウンロードします。インストールモジュールにはいくつかの種類はありますが、今回は rpm パッケージ版(elasticsearch-2.3.4.rpm)をダウンロードします： https://www.elastic.co/downloads/elasticsearch ダウンロードできたら rpm コマンドでインストールして起動、および自動起動設定までを行います。ちなみにこの rpm 版をインストールした場合、ElasticSearch 本体は /usr/share/elasticsearch/ 以下に導入されます ： # rpm -ivh elasticsearch
Elastic Stack 5.2.0 がリリースされました | DevelopersIO
おはようございます、藤本です。 1/31 に Elastic Stack 5.2.0 がリリースされていました。Elastic Stack 5.1.1 のリリースから 2ヶ月弱と相変わらずな早さのリリースペースにも関わらず、多くの新機能、バグフィックスが含まれていました。 英語 Elastic Stack 5.2.0 Released 日本語 Elastic Stack 5.2.0リリース 今回はいくつか新機能を触ってみましたので、メモ書きします。それではプロダクト別に順にご紹介します。 Elasticsearch 5.2.0 まずは Elasticsearch です。Elasticsearch 5.2.0 の公式ブログと、リリースノートは以下になります。 公式ブログ Elasticsearch 5.2.0 released リリースノート Elastic Stack 5.2.0 Rele
「Elasticsearch」狙うランサム攻撃増加、研究者ら報告--「MongoDB」攻撃と同様の手法
オープンソースのマルチテナント対応全文検索エンジン「Elasticsearch」に対するランサムウェア攻撃がこのところ急増しており、数百ものインスタンスがデータ消去の憂き目に遭っているという。その手法は、2017年に入って「MongoDB」データベースを襲った攻撃と同様に、貧弱な設定につけ込むというもののようだ。 攻撃者はElasticsearchが稼働しているサーバにアクセスし、データを削除したうえで、データ返却の条件として身代金を要求する。識者らは、こうした攻撃から身を守れるよう、Elasticsearchが稼働しているサーバをウェブ上から隠ぺいするよう警告している。 The Registerが最初に報じたところによると、被害に遭ったElasticsearchインスタンスは360にのぼるという。また、MongoDBに対する攻撃を追跡したセキュリティ研究者のNiall Merrigan氏
elasticsearch 5.1.1 リリース記念 kibanaに追加されたProfilerを試す - Qiita
概要 kibana 5.1.1ではYour profile never looked betterという項で紹介されているように、ProfilerのUIがつきました、と。 Now, for 5.1.1, the X-Pack basic (free) install includes a UI for the profiler. You can find it in the Dev Tools area of Kibana after installing X-Pack. The profiler UI gives you a tree structure of the query with timing associated with each branch, which allows you to dig into the most time consuming parts. It c
いろいろ考えると日本語の全文検索もMySQLがいいね！ - Kouhei Sutou - Rabbit Slide Show
Description MySQLは広く使われているRDBMSです。速いし、レプリケーションのノウハウもあるし、Web上にたくさんの情報もあるからいざというときも安心、というのがその理由でしょう。 そんなMySQLの弱点の1つがデフォルトでは日本語で全文検索できないことです。でも、日本語で全文検索したいし。。。どうしよう。 そんなあなたに最近の日本語の全文検索事情を紹介します。Solr？Elasticsearch？Groonga？PostgreSQLはどうやっているの？Mroonga？Sphinx？ いろいろ考えると日本語で全文検索するときもMySQLを使うのがいいね！と思えてくるから不思議です。最近の日本語の全文検索事情を聞いて一緒に考えてみませんか？ Page: 1 いろいろ考えると 日本語の全文検索も MySQLがいいね！ 須藤功平 日本MySQLユーザ会 OSC2014 Tokyo
Elasticsearchを開発するElastic、最新バージョン5.0とElastic Stackを解説
オープンソースの検索エンジンとしてアクセスログの検索、可視化などに使われるElasticsearchを開発しているElasticが、日本で2回目となるカンファレンスを開催。最新のバージョン5.0について解説などを行った。 オープンソースの全文検索エンジンとして、アクセスログの検索や可視化などに使われるElasticsearchを開発しているElasticは、2016年12月15日、日本では2回目となるイベント「Elastic{ON} Tour 2016」を開催した。アカデミーヒルズのセミナールームを満席にした約350名の参加者に向けて、最新製品の解説とデモ、導入事例としてソフトバンク、ファーストリテイリング、日立製作所からの登壇者を迎えたセッションが開かれ、さらにアクロクエストテクノロジーなどのパートナーも関連製品のプレゼンテーションを行った。 ELKからElastic Stackへ イベ
ElasticのDockerイメージを使って、ElasticsearchとKibanaを使う - CLOVER🍀
最近ElasticsearchとKibanaのDockerイメージに、DockerHubのものを使ってみたのですが elasticsearch (OFFICIAL REPOSITORY) kibana (OFFICIAL REPOSITORY) @johtaniさんに怒られまして…。 ElasticsearchのDockerイメージ、自分でビルドして作ってたけど5系からsysctlのところでハマるようになって、DockerHubにあるの使うようにした 2016-12-22 23:21:37 via Twitter Web Client @kazuhira_r うちの使ってよ、、、 2016-12-23 11:40:10 via twicca to @kazuhira_r あー、そういえば、あるって聞いたことあったような…。 調べてみると、確かに…。 Install Elasticsearc
Elasticsearch 5.0の便利機能紹介？
Elastic stack Advent Calendar 1日目の記事になります。 Elasticsearch 5.0が10月末にリリースされました。 リリースのブログでいくつか紹介されているのですが、そこでは紹介されていない機能について2、3紹介しようと思います。 その前に、5.0、あれ？その前は2.xじゃなかったっけ？？と困惑されている方もいるかと思うので、簡単に5となった経緯の紹介をしようかと。 バージョン番号 なぜ2から5に飛んだのかという話ですが、このスライドがその紹介になっています。 https://speakerdeck.com/johtani/elastic-stack-5-dot-0-alpha1-alpha5?slide=5 Elastic{ON} 2016のキーノートでも紹介がありましたが、KibanaやLogstashとElasticsearchを組み合わせて使う
Elasticsearch 2.4から5.0.1にアップグレードしていろいろはまった - wyukawa's diary
手元でカジュアルに運用しているElasticsearch 2.4(2.4.1だったかも)をえいやと5.0.1に上書きアップグレードしていろいろはまったのでメモっておく。 その前にElasticsearch 5がどんな感じなのかはwyukawa's tumblr, johtaniさんとElasticsearchについて話しました Guest ...を聞くと良いと思います。まあ宣伝です。 まあこういうのは2つクラスタ用意してblue green deploymentするのが安全だと思います。 ただどっちにしろクライアントの対応状況にも気をつけたほうが良いです。REST API使ってるやつならだいたい大丈夫だと思いますが、Java系だと互換性が無いんじゃないかな。 僕の環境ではfluent-plugin-elasticsearchから書き込んでますが、アップグレード作業中はデータを止めたほうが良
Elastic Stack 5.0.0 GAがリリースされました【アップデート情報まとめ】 | DevelopersIO
こんにちは、藤本です。 現地時間10/26に Elastic Stack 5.0.0 の GA がリリースされました。Beta 1 が一ヶ月ちょっと前、rc 1 が20日弱前とまだまだ rc のバージョンを積み重ねて来るかと思ったらもう GA リリースです！早い！ 細かい機能の検証はおいおいやるとして、今回は Elastic Stack 5.0.0 の全体的なアップデート情報、および機能単位の情報で得ることができるリンクを集めてみました。Elastic Stack 5.0.0 のアップデートを追っていなかった人の参考になると幸いです。 Elastic Stack 5.0.0 まずはElastic Stack 5.0.0の全体的な大きなアップデートをサラッと拾い上げたいのであれば以下のURLが参考になります。 公式ブログ（日本語） Elastic Stack 5.0.0 GA リリース ht
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
