Apache Solr から OpenSearch に載せ替えた話 - 弁護士ドットコム株式会社 Creators’ blog
検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol
Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界
ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 AstrategyとはAstrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、ユーザーが市場調査や市場分析レポート作成を行うことができるウェブサービスです。 国内外約3万メディアから配信された約5000万件のビジネスニュースから、企業情報、言及されているニューストピック、業界や地域属性を抽出して分析に利用します。 抽出には汎用言語モデルBERTを用いており、その処理はCloud TPU上で動く重たい処理であるため、事前に全てのニュースデータに対して抽出処理をかけた状態で検索サーバーに登録しています。 ユーザーがAstrategyにアクセ
Docker-composeでECS上にコンテナを起動してログ収集・分析基盤(ELK)を構築する - Qiita
はじめに 公開しているWebアプリケーションのアクセスログを収集したく、ログの収集・分析基盤としてELK環境を構築しました。自前でサーバを立てるのも面倒だったので、AWSとDockerのお勉強がてら、Docker-composeファイルを用意して、ECS上でコンテナを起動し、システムを構築しました。なお、構築時のエラー・トラブルについては別記事でまとめたいと思います。 この記事の対象者 Elasticsearch, Logstash, Kibana環境をDockerで構築するのが初めて ECSを使ったことがなく、docker-compose.ymlからECS上でコンテナを建てたい人 この記事を見てできること ECS上でdocker-composeを使って、コンテナを起動できる EC2上にELK環境を構築できる（厳密には、ElasticsearchとLogstashのコンテナをEC2上で動か
Elastic社公式の Docker イメージに Logstash が追加されていました | DevelopersIO
こんにちは、藤本です。 以前、下記エントリで Elastic社公式の Docker イメージをご紹介しました。 Elastic社公式のDockerイメージ(Beta版)が提供されるようになりました 当時は Elasticsearch、Kibana のイメージのみが提供されていましたが、Logstash のイメージも追加されていたようです。 Elastic 社のドキュメントにも利用方法が記載されています。 Running Logstash on Docker 試してみた 環境 今回はローカルの Docker for Mac を利用しています。 Docker for Macに関しては以下のエントリをご参照ください。 Public BetaになったDocker for Macを使ってみる Logstash のコンテナを起動する 下記パスがイメージのパスとなります。 docker.elastic.
3分でEFK(ElasticSearch+Fluentd+Kibana)を構築する - Qiita
はじめに 今更ながらかもしれませんが、EFK(ElasticSearch+Fluentd+Kibana)を試してみてます。 ちょっと試したいだけなのに一杯インストールせねばならんのですね。。。ということでEFK構成を構築するansibleのplaybookを作ってみました。良ければ使ってください。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分で構築する前提事項 ansibleが使えること gitが使えること(yum -y install gitとかで突っ込んでおいてください） サーバを2台（sshで接続できればなんでもいいです） こんな環境を作ります。 左側はfluentdのforwarder。右側はログを集積するag
WindowsイベントビューアをElasticStackにしてみた話 - Qiita
はじめに 自分のWindowsPCのイベントログをより効率的に検索したいと思い、コスト掛けずにローカル内で分析環境を構築したのでアップします。 利用した環境 Elasticsearch、Kibanaは最新の6.5.4をDockerコンテナとしてDocker for Windows上にデプロイ Winlogbeat、Sysmonはエージェントとして直接Windows10のOSにインストール 実施内容 イベントログ分析環境構築の大まかな作業は次のような内容となります。 ※サーバ環境もクライアント環境も同じWindows10上に構築しています。 【サーバ環境】 1. Docker for windowsのインストール 2. Elasticsearchコンテナのデプロイ 3. Kibanaコンテナのデプロイ 【クライアント環境】 4. Sysmonエージェントのインストール 5. Winlogbe
ELK(Elasticsearch, Logstash, Kibana)に触れてみる
日頃、Amazon CloudSearchの担当をしている私ですが、ふと、Elasticsearchと戯れたくなりました。 とりあえず、おもむろにMacbookのTerminalを立ち上げます。 ■ Elasticsearchを立ち上げる 現時点での最新版のElasticsearchのZipファイルをダウンロードしてきて↓ https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.zip 解凍して、 $ unzip elasticsearch-1.7.1.zip Archive: elasticsearch-1.7.1.zip creating: elasticsearch-1.7.1/ creating: elasticsearch-1.7.1/config/ inflating: elasti
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
Elasticsearchインデクシングパフォーマンスのための考慮事項 - Qiita
マッピングタイプを使いすぎないようにする Elasticsearchでは１つのインデックスの中に複数の異なるスキーマ定義を持つことができる。このスキーマ定義をマッピングタイプという。単に「タイプ」と呼ばれる事もある。フィールドのデータタイプとは別の概念。インデックスはデータベースに、マッピングタイプはその中のテーブルに例えられる事が多いが、同じ名前のフィールドはマッピングタイプが異なっていても定義が共有されたりして、データベースのテーブルほど互いに独立していない中途半端なものになっている。（2.0より前のバージョンではタイプごとにフィールド定義が異なっていても多少使えたりしたが、2.0以降は厳密に禁止されるようになった. 参照：Conflicting field mappings） タイプが異なっていてもデータは同じLuceneインデックスの中に混ざって入ってしまうため、タイプ間で互いに影
マネージャーがうれしいRedmineデータのEVM表示方法を公開します！！ | フューチャー技術ブログ
それぞれの計測値をITプロジェクトにおける数値に置き換えると、下記のように言えます。 画面開発に必要な工数（Planned Value：PV） メンバーが稼働した時間（Actual Cost：AC） 開発が完了した作業量（Earned Value：EV） これらの数値を別々に把握できると、下記が別々に管理できそうです。 ①.画面開発の進捗（EV ÷ PV） ②.メンバーの生産性（EV ÷ AC） ①の値をSPI(Schedule Performance Index)、②の値をCPI(Cost Performance Index)と呼びます。 いずれも標準値が”1.00”。それを下回る場合は、課題があると考えられます。 RedmineのデータをEVM表示するとどうなる？例えば、下記のような4件のチケットがRedmineに登録されているプロジェクトがあったとします。 チケット番号#4の進捗が5
第５回 Elasticsearch 入門 Elasticsearch の使いどころ | DevelopersIO
今回は少し、思考を変えてシステムを開発する際にどんなところで Elasticsearch を使えるのか？という視点で説明したいと思います。 最近のシステムの特徴 最近のシステムは、ビッグデータの重要性の認知、ソーシャルデータの活用など、１つのシステムでも様々な種類のデータを管理し活用するようになってきました。また、クラウドサービスやオープンソースが当たり前に使われるようになり、データを管理し活用するためのシステムやサービスも様々な選択肢があります。 そのため、最近のシステムではデータの利用目的によってデータストアを使い分けることが多くあります。 例えば、商品情報など構造化されたデータは、ビジネス要件を満たすためにデータを矛盾なく永続化する必要があるため、MySQL などのリレーショナル・データベースに保存されます。 また、更新や参照トラフィックが多くデータ数も多いゲームやモバイルアプリケー
How To Install Elasticsearch, Logstash, and Kibana (ELK Stack) on CentOS 7 | DigitalOcean
// Tutorial //How To Install Elasticsearch, Logstash, and Kibana (ELK Stack) on CentOS 7 Introduction In this tutorial, we will go over the installation of the Elasticsearch ELK Stack on CentOS 7—that is, Elasticsearch 2.2.x, Logstash 2.2.x, and Kibana 4.4.x. We will also show you how to configure it to gather and visualize the syslogs of your systems in a centralized location, using Filebeat 1.1.
Logstashによるログ収集システムの構築
サーバーセットアップ 公式ドキュメントに従ってKibana,elasticsearch,Indexder,Brokerをセットアップします。 Kibanaのインストール 公式サイトからアーカイブをダウンロードし、ApacheのDocumentRootに展開します。 $ curl -sL https://download.elasticsearch.org/kibana/kibana/kibana-3.0.0milestone5.tar.gz | sudo tar zxf - -C /var/www/html $ sudo mv /var/www/html/kibana-3.0.0milestone5 /var/www/html/kibana EstaticSearchのインストール 公式サイトからCentOS用のRPMパッケージをダウンロードし、インストールします。 $ wget -q -
Amazon API Gateway＋AWS Lambda＋Amazon Elasticsearch Serviceでサジェスト機能を実装する | DevelopersIO
Amazon API Gateway＋AWS Lambda＋Amazon Elasticsearch Serviceでサジェスト機能を実装する はじめに Elasticsearch検証担当の藤本です。 概要 ElasticsearchはSuggesterというサジェストを実装するための検索APIを提供しています。 検索方法は単純な文字列の一致だけでなく、Elasticsearch（Lucene）が持つ検索エンジンを活用でき、RDMS＋ロジックによりゴリゴリ実装せずとも、よりユーザーが望む検索結果、結果順序を提供することができます。 今回はSuggesterの内、Completion Suggestterで実装しましたが、Suggesterは複数あり、更には設定オプションも豊富なため、多くの要件を満たせるでしょう。 ちなみに現在（v2.1）、SuggesterはCompletion sugg
Packetbeatでパケットモニタリング | DevelopersIO
はじめに 藤本です。 昨日、今日と弊社佐々木がBeats PlatformのTopbeat、Filebeatをご紹介しました。私からはPacketbeatをご紹介します。 Topbeat + boot2dockerでMacBookのシステムモニタリング Filebeat + boot2dockerでMacBookのログモニタリング 環境 私はDocker使い(え)ません！ OS Amazon Linux 2015.09 ミドルウェア : elasticsearch-2.1.0-1.noarch kibana-4.3.0 httpd24-2.4.16-1.62.amzn1.x86_64 mysql-server-5.5-1.6.amzn1.noarch やってみた インストール パッケージやバイナリは各種ファイル形式（今回はrpmファイル）でelasitc社のページからダウンロードできます。
logstash-output-amazon_esを使ってAmazon Elasticsearch Serviceにデータを投入する | DevelopersIO
logstash-output-amazon_esを使ってAmazon Elasticsearch Serviceにデータを投入する はじめに もうこの際はっきり言っておきますけど今日はAmazon Elasticsearch Service(Amazon ES)のことしかやってません。どうも佐々木です。 朝からずーっとAmazon ESのブログ書いてました。 [新機能]Amazon Elasticsearch Serviceがリリースされました！ Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する すると、同僚がネタを提供してくれました！ awslabs/logstash-output-amazon_es AWS謹製のLogstashプラグインです。Amazon ESはIAMによってアクセス制御を行うのですが、このLogstashプラグイ
[新機能]Amazon Elasticsearch Serviceがリリースされました！ | DevelopersIO
はじめに AWS re:Invent 2015前にすごい新サービスが飛び出てきました！ New – Amazon Elasticsearch Service Amazon Elasticsearch Service なんと、フルマネージドなElasticsearchです。AWSでの全文検索サービスはCloudSearchがありますが、やはり全文検索システムとしてElasticsearchの人気が高い、ということでしょうね。「ElasticsearchはAWSのサービスではありません」と長年言われ続けていましたが、ついにサービスとして提供されました。 なお、Amazon Elasticsearch Serviceの略称はAmazon ESとのこと。若干ECSと紛らわしい感じもありますが、まぁそのままだと長いですからね。公式に略称が決まっているのは良いことです。 ということで、早速やってみまし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
