大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付
ポートノッキングで10秒間だけsshdを公開する設定 - hnwの日記
先日Twitterに次のような書き込みをしたところ思ったより反応が良かったので、詳細の設定を紹介します。 UDP53番、TCP443番、UDP123番とポートノッキングをするとTCP443番に10秒だけsshdが現れる、という中二病全開の設定をした。皆様にもお勧めしたい。— hnw (@hnw) 2017年3月26日 といっても特殊なことをしたわけではなく、knockdでポートノッキングの設定を行い、iptablesと組み合わせて実現しました。 ポートノッキングとは ポートノッキングというのは、決められたポートを決められた順番で叩くことでファイアーウォールに穴を空けられるような仕組みのことです。ポートノッキングを使えば、TCPの7000番、8000番、9000番の3ポートにパケットを送りつけると22番ポート (SSH) へのアクセスが許可される、といった設定ができます。 ポートノッキングの
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
Systemdを使ってさくっと自作コマンドをサービス化してみる - Qiita
Systemdの仕組みをつかうと、自分で作ったコマンドを簡単にサービスとして登録することができます。 例として、hello worldを延々とファイルに書き込むコマンドをサービス化してみましょう。 1. コマンドを作る /opt/hello.sh というスクリプトを用意します。
sshでConnection reset by peerと接続が切れるのを防ぐ
English ver.: Prevent to disconnect a ssh connection by 'Connection reset by peer' B! 58 0 0 0 sshで接続して作業してる時に、 暫く他の事をしていて接続していたターミナルに戻ると Read from remote host example.com: Connection reset by peer Connection to example.com closed. みたいに切れてしまっている事があります。 これはルーターの設定などで一定時間(早ければ10分程度で)その接続に通信が無いと切ってしまうからです。 この様な環境下で一定時間を過ぎても接続を維持できる様にする方法について。 維持する原理 サーバー側で設定する場合 クライアント側の設定 PuTTYの場合 維持する原理 原理、というほどではあ
Apacheセキュリティ設定 - Qiita
概要 Apache の設定について共通化できるセキュリティ設定とその各項目についてまとめた。 設定例 必須設定 cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens Prod Header unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header append X-Frame-Options SAMEORIGIN # XSS対策 Header set X-XSS-Protection "1; mode=block" Header set X-Content-Type-Options nosniff # XST対策 TraceEnable Off <Directory /var/www/html>
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
Elasticsearch 1.5をUbuntu 14.04にインストールしたときのメモ - Technically, technophobic.
www.elastic.co Javaをインストール 参考：Running As a Service on Linux OpenJDKでも動くっぽいですが、ドキュメントにはOracle Javaを入れるようにとの指示があったので大人しく従うことにします。でもなんかダウンロード遅い気がするので、サクッと試したいだけならsudo apt-get install openjdk-7-jdkとかするのがいいと思います。 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java7-installer java -version Elasticsearchをインストール 参考：Repositories レポジトリを追加します。この辺のやり方は、ここに書いたのは古くな
ローカル環境のWindowsにElasticsearchをインストール - Qiita
ローカル環境のWindows(7)にElasticsearchをインストールしてみたのでメモ。 Windows 7 Home Premium SP1 Elasticsearch 1.5.2 elasticsearch-head Marvel (Sense) Kuromoji 2.5.0 Java (jPortable) 8 ※ 個人的にすべてDropboxに入れてポータブルっぽくしたのでjPortableを使用 Javaのインストール（入っていなければ） PortableApps.comのjPortable 64-bitをダウンロードしてインストール（解凍）。 （64bit版はダウンロードページ下段） インストール先の参考として以下のフォルダへ。 Javaのパスを通す スタート > コンピュータ を右クリックし、プロパティを開く。 システムの詳細設定(左側のメニュー内)を開き、環境変数(N
Elasticsearchのローカル環境構築メモ - Qiita
前提条件 javaがインストールされていること Elasticsearchをダウンロード 今回はバージョン1.7.1を使用しました。 Elasticsearchをサービス登録＆起動 コマンドプロンプトを開き、Elasticsearchを保存したフォルダに移動し 下記のコマンドを実行 例） D:\Program Files\elasticsearch\bin\service install 上記のコマンドでサービス登録が完了します。 起動する際は管理ツールのサービスから起動できます。 サービスの起動に失敗する場合は、Javaのパスとポート「9200」が使用済みではないか確認してください。 下記コマンドプロンプトから起動する場合 例） D:/Program Files/elasticsearch/bin start セットアップ関連コマンドはこちらから確認できます。 起動が完了したら、ブラウザ
Elasticsearchにfluentdする設定とかlabelの話 - ほわいとぼーど
といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。 自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今回の場合、後からElasticsearch設定追加したりしてます。 本番でgrowthforecastとElasticsearchを同じサーバに入れないと思うけど、 今はテスト環境ということで。 以下は送信側設定。 <source> type tail_ex format /(正規表現)/ path /path/to/apache.log.%Y%m%d tag apache.${HOSTNAME} pos_file /path/to/apache.pos </source> <match apache.*> typ
Fluentd、ElasticSearch、Kibana4によるログ分析環境の構築 - hrendoh's tech memo
現在、ログを収集し分析するシステムを構築しようとした場合に、オープンソースの組み合わせですぐに始められる構成としてはじめに思いつくのは Fluentd + ElasticSearch + Kibana の構成です。 Web上の記事や書籍も充実していますし、日本にもユーザーが多そうなので割と安心して利用できる環境でもあると思われます。 この記事では、Fluendによりログ収集しElasticSearchに保存し、それをKibana 4で分析する環境の構築手順について調べた内容をまとめてみました。 今回試したのは以下のように、Apacheのアクセスログをtailして、Fluentdで収集しElasticSearchに保存、Kibanaでログの検索、分析を行うシンプルなシステム構成です Apacheのログを収集するサーバーおよびElasticSearch、Kibanaをインストールするサーバーと
fluentdで始めるログ管理【フォワード設定まとめ】 | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回は前回の続きとして、fluentdでログを他のサーバーに転送する方法について紹介します。 >>eXcaleは期間限定でサインアップキャンペーン実施中！気になる内容はこちら<< ログの転送について fluentdではアウトプットの手段として他のサーバーへの転送を選択することでログの集約を簡単に実現できます。 基本的な構成 設定と動作のイメージができるように、シンプルにあるサーバーからあるサーバーへ送信する例を見てみます。 以下がデータを送る側と送られる側の設定例です。 ※本記事ではバッファリングに対する設定はデフォルト値を使うため、以下のすべての例で設定はありません（設定しなければデフォルト値が使われます） バッファリングの設定については前回の記事を
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
Let's Encrypt の使い方 - Let's Encrypt 総合ポータル
Let's Encrypt は、クライアントソフトウェア「Certbot」を使用することで、SSL/TLS サーバ証明書の取得・更新作業を自動化できる仕組みになっています。 独自ドメインがあれば、簡単なコマンド操作で SSL/TLS 証明書（無料）を取得できます。 ※一般の認証局で SSL/TLS サーバ証明書を取得する場合とは異なり、秘密鍵・公開鍵・署名リクエスト（CSR）を手動で生成する必要はありません。これらの作業は、Certbot クライアントが自動的に行います。 ※Certbot 以外の ACME クライアント (英文) を使用して Let's Encrypt の証明書を取得することも可能です。 より詳しく知りたい方へ このページでは、Certbot クライアント（旧・Let's Encrypt クライアント）のプラグイン Webroot または Standalone を使用して
websec-room.com - websec room リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
雪うさぎの夢: Proxyサーバーを経由する環境での、elasticsearch、fluentd 導入
ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方
CentOS6にElasticsearchをインストールしMySQLからデータをインポート