PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;
最近PostgreSQLでSQLチューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。PostgreSQLのバージョンは9.6系です。 SQLチューニングなどに便利だったクエリ達 それ以降に実行するSQLの実行時間を表示する。参考 https://morumoru00.wordpress.com/2011/05/08/postgresql-sql%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8B%EF%BC%88timing/ \timing 実際にクエリを実行して実行計画や実行時間を表示する。クエリが実行されるので破壊的な操作も実行されてしまうことに注意。トランザクション張って最後にROLLBACKしましょう。参考 https://www.post
Elasticsearch の位置検索（Geolocation）を学ぶ | DevelopersIO
ども、藤本です。 最近、Elasticsearch を使うプロダクト開発に本格参画し、Elasticsearch を改めて勉強しています。機能レベルで理解していても、要求を実現するためにインデックス構造、クエリを設計・実装するのは難しいですが、それ以上に面白い！今回は位置検索について調べたことをまとめました。 概要 GPS 対応デバイスの普及に伴い、位置情報による検索は多くのシステムに必要となってきました。例えば、お腹すいた時に現在地から近い食事処を検索します。ただ位置情報で検索できればいいわけではなく、定食屋、焼肉屋、カレー屋などカテゴリで絞りたいですし、今現在オープンしているお店だけに絞りたいですし、近さとともに食事処の評価・スコアを踏まえてソートして欲しいです。ユーザーはワガママです。 著名な RDB でも位置情報の検索にも対応しています。例えば、MySQL では、geometry型
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
Elasticsearch マッピング
Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto
csvを読んでelasticsearchのバルクインサート用のjsonに整形する - Qiita
elasticsearchにバルクインサートする時、 データのjson1行につきコマンドのjsonを1行追加しないとならないので。 see also: http://blog.johtani.info/blog/2014/04/24/usage-stream2es/ stream2es だと一気に登録までしてしまうので、 変換の時点で一度確認したかったので書いてみた。 中身は 1行目にヘッダ。 それ以降がデータ。 エスケープなどはRFC4180 っぽい感じ。 "item_id","title","description","price","url","image_url" "11111","たいとる","でぃすくりぷしょん","1000","http://example.com/item/11111","http://example.com/11111.jpg" "22222","たいとる
Elasticsearch で位置情報を検索する手順 - Qiita
Elasticsearch は、オープンソースの全文検索エンジンです。Apache Solr と並んでよく取り上げられるようになってきました。 位置情報の検索機能も標準搭載しているとのことで、試しに使ってみました。 Elasticsearch の導入 下の情報が大変参考になりました。(環境は Mac。事前に Java と homebrew の導入が必要です） elasticsearch - ElasitcSearch ことはじめ - Qiita [キータ] 試しに使ってみる 下のサイトが大変参考なりました。 Elasticsearch を試してみる - ようへいの日々精進 位置情報を検索してみる 下のようなスキーマのデータを登録して検索する想定です。
ElasticsearchをUbuntu 14.04にインストールする - Qiita
Elasticsearch をインストールする 参考:Repositories インストール方法は、上記の公式ドキュメントに丁寧に書かれているが、ここでは主要な手順だけを抜き出してみます。 リポジトリを登録する $ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - $ echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
Elasticsearch 1.5をUbuntu 14.04にインストールしたときのメモ - Technically, technophobic.
www.elastic.co Javaをインストール 参考：Running As a Service on Linux OpenJDKでも動くっぽいですが、ドキュメントにはOracle Javaを入れるようにとの指示があったので大人しく従うことにします。でもなんかダウンロード遅い気がするので、サクッと試したいだけならsudo apt-get install openjdk-7-jdkとかするのがいいと思います。 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java7-installer java -version Elasticsearchをインストール 参考：Repositories レポジトリを追加します。この辺のやり方は、ここに書いたのは古くな
ローカル環境のWindowsにElasticsearchをインストール - Qiita
ローカル環境のWindows(7)にElasticsearchをインストールしてみたのでメモ。 Windows 7 Home Premium SP1 Elasticsearch 1.5.2 elasticsearch-head Marvel (Sense) Kuromoji 2.5.0 Java (jPortable) 8 ※ 個人的にすべてDropboxに入れてポータブルっぽくしたのでjPortableを使用 Javaのインストール（入っていなければ） PortableApps.comのjPortable 64-bitをダウンロードしてインストール（解凍）。 （64bit版はダウンロードページ下段） インストール先の参考として以下のフォルダへ。 Javaのパスを通す スタート > コンピュータ を右クリックし、プロパティを開く。 システムの詳細設定(左側のメニュー内)を開き、環境変数(N
Elasticsearchのローカル環境構築メモ - Qiita
前提条件 javaがインストールされていること Elasticsearchをダウンロード 今回はバージョン1.7.1を使用しました。 Elasticsearchをサービス登録＆起動 コマンドプロンプトを開き、Elasticsearchを保存したフォルダに移動し 下記のコマンドを実行 例） D:\Program Files\elasticsearch\bin\service install 上記のコマンドでサービス登録が完了します。 起動する際は管理ツールのサービスから起動できます。 サービスの起動に失敗する場合は、Javaのパスとポート「9200」が使用済みではないか確認してください。 下記コマンドプロンプトから起動する場合 例） D:/Program Files/elasticsearch/bin start セットアップ関連コマンドはこちらから確認できます。 起動が完了したら、ブラウザ
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
第5回 APIの全体像とデータの投入 | gihyo.jp
前回でCassandraへのアクセスするコードの基本をおさえました。今回解説するのは以下の2点です。 CassandraのAPIの全体像 Cassandraにデータを投入するコードの詳細 3つの分類からAPIの全体像をおさえる 第1回でもご紹介しましたが、CassandraのクライアントAPIはThriftによって自動生成されます。APIは非常にシンプルなものが幾つかあるだけで、覚えるのもさほど難しくはありません。本連載ではその中からよく使うものに特化してご紹介していきます。 以下にCassandraのAPIを、データ挿入系・データ検索系・認証／管理系の3つに分類してまとめてみました。まずはこれらにひと通り目を通してみてください。 データ挿入／更新／削除のAPI データ挿入、更新、削除のAPIは以下の表のとおりです。現実的によく使う中心的なAPIはbatch_mutate、removeの2
第4回 JavaでCassandraにアクセスする | gihyo.jp
キースペース、カラムファミリの設定は以上です。 他にも、レプリケーション数やレプリケーションをどのように行うかなどの指定がありますが、今回は割愛します。 コミットログとデータディレクトリを設定する 次はコミットログとデータディレクトリの設定を行います。 Cassandraは、書き込み時には操作をすべてコミットログに追加で書き込んでいき、その実体（Memtableといいます）はメモリ上にカラムファミリごとに展開していく仕組みになっています。Memtableはサイズの閾値等をもっており、その閾値に達するとディスクに書き出します。この操作のことを「フラッシュ」といい、ディスクに書き出す構造のことを「SSTable」といいます。SSTableは一度書き出されるとその内容は不変で、実際の物理データとしては以下の3つがセットで書き出されます。 インデックス ブルームフィルタ データファイル インデック
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
雪うさぎの夢: Proxyサーバーを経由する環境での、elasticsearch、fluentd 導入
Adding mapping to a type from Java - how do I do it?
ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方
CentOS6にElasticsearchをインストールしMySQLからデータをインポート