Amazon Web Services ブログ Amazon OpenSearch Service のインデックス設定とマッピングを更新する方法 この記事は、 Patterns for updating Amazon OpenSearch Service index settings and mappings を翻訳したものです。 Amazon OpenSearch Service は、リアルタイムのアプリケーションモニタリング、ログ分析、大規模なウェブサイト検索など、幅広いユースケースで利用されています。ドメインが古くなり、コンシューマが追加されると、追加のストレージとコンピュートニーズを処理するためにドメインの構成を再評価し、変更する必要があります。このような変更を行う際には、ダウンタイムとパフォーマンスへの影響を最小限に抑えたいものです。 インデックスのメンテナンスを行うためのウィン
© 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon OpenSearch Service 機能解説 – 検索編 AWS Black Belt Online Seminar Takayuki Enomoto Solutions Architect, Analytics 2023/01 © 2023, Amazon Web Services, Inc. or its affiliates. AWS Black Belt Online Seminarとは • 「サービス別」「ソリューション別」「業種別」などのテーマに分け、 アマゾン ウェブ サービス ジャパン合同会社が提供するオンラインセミナー シリーズです • AWS の
投稿者:monodon 投稿公開日:2023年1月28日 投稿カテゴリー:OpenSearch 投稿コメント:0件のコメント 以前の記事で日本語の形態素解析にkuromojiを利用したOpenSearch環境を作成しました。 今度はkuromojiを利用したインデックスを作成してみたいと思います。 インデックスの定義 OpenSearch ダッシュボードからDevToolを選択します。 kuromoji対応のインデックスを作成してみる まずはインデックス作成用のJSONになります。 PUT test_index { "settings": { "analysis": { "analyzer": { "kuromoji_text": { "tokenizer": "kuromoji_tokenizer" } } } }, "mappings": { "properties": { "test
ローカルでOpenSearchに日本語周りのプラグインをインストールして、Analyzerの設定をするのに少し手間取ったのでメモ Dockerfileとdocker-compose.yamlの準備 Dockerfileは以下のような感じ 本当はDockerfile用意せずに環境変数で指定できるとすごい楽なのだけど。。。 FROM opensearchproject/opensearch:1.3.2 RUN /usr/share/opensearch/bin/opensearch-plugin install analysis-kuromoji RUN /usr/share/opensearch/bin/opensearch-plugin install analysis-icu
こんにちは。 「OpenSearchインストール」でデータベースが動くようにし、 「OpenSearch Dashboardsインストール」で、ダッシュボードも使えるようになり、 「OpenSearchのユーザー追加」で、一般ユーザーを登録することができ、 「OpenSearchのインデックスに Pythonでデータを突っ込む」で、日本語データが入ったインデックスを作ることができました。 しかし、日本語検索結果はノイズが入ってしまいイマイチなところがありますので、日本語形態素解析エンジンを OpenSearchで使えるようにしましょう。 それがこれ。 kuromoji OpenSearchはプラグインとして kuromojiをインストールすることができます。 プラグインのドキュメントはこちら Installing plugins このドキュメントを見ると、Additional plugin
最近検索エンジン周りの検証をしていて、AWS OpenSearchと戯れていました。 余談ですが、昔ログ基盤としてElasticsearchをそこそこヘビーユースしていた時代もあったのですが、今回n年ぶりに触っていたら色々と忘れていたり進化していたりで触ってないと忘れるなっていうのを身を以て体験しました。 今回は小ネタで、OpenSearchでkuromojiの辞書整備をどんな感じでやっていったかを書き記しておこうと思います。 ※個人ブログの更新は実に2年ぶり!! この記事はコネヒト Advent Calendar 2021の17日目の記事です。 OpenSearchで検証してる時の個人的な感想 OpenSearch自体は公式ドキュメントはしっかりしているのだが、webで検索しても中々いい記事にたどり着けないというのが色々と調べていたときの感想。 Elasticsearchの7.1をfor
現在AWS OpenSearch マッピングのデータ型が変更できないので、一時のインデックスを経由で、インデックスを再作成して、インデックスのマッピングのデータ型を変更する。 例:以下のインデックスのfield:test-textがfloatからkeywordに変更する場合、 { "sample_index" : { "aliases" : { }, "mappings" : { "dynamic" : "true", "_meta" : { }, "dynamic_date_formats" : [ "strict_date_optional_time", "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z", "basic_date_time" ], "dynamic_templates" : [ ], "date_detection" : true, "nume
Amazon OpenSearch Service (以下、OpenSearch)を触っていた際に、API周りでかなり苦戦したので個人用にまとめておく。 !! 注意 !! 本内容はAmazon OpenSearch Service ver 1.2での挙動です。 OpenSearch ServerlessやElasticsearch、OSSのOpenSearchでは挙動が異なる場合があるのでご注意ください。 事前準備 API実行に必要な情報を環境変数に登録しておく。 $ ENDPOINT="OpenSearchのVPCエンドポイント" $ USERNAME="aesadmin" # OpenSearch Dashboardsのログインユーザー名 $ read -sp "Please input your password: " PASSWORD # ログインパスワード OpenSearchの
from opensearchpy import OpenSearch host = "search-qiita-opensearch-wcc7qcw5raxveihyzamagjtsou.ap-northeast-1.es.amazonaws.com" port = 443 auth = ("master", "Master@2023") client = OpenSearch( hosts = [{'host': host, 'port': port}], http_auth = auth, use_ssl = True, verify_certs = True, ssl_assert_hostname = False, ssl_show_warn = False, ) index_name = "classmates" data = { "Name":"Bob", "Age":21,
この記事は「弁護士ドットコム Advent Calendar 2021」の 2 日目の記事です。よろしくお願いいたします。 はじめに OpenSearch は Elasticsearch と Kibana から派生した検索・分析ソフトウェアです。 OpenSearch が作成された理由は簡単に言うとライセンスの問題です。 詳しくは以下のページをご覧ください。 起動 Docker Hub にあるイメージを使用します。 $ docker run \ --name opensearch \ -p 19200:9200 \ -p 19600:9600 \ -e discovery.type=single-node \ --rm \ opensearchproject/opensearch:1.2.0 2021/12/01 現在のバージョンは 1.2.0 です。 Docker Hub はダウンロード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く