柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
dockerのENTRYPOINTとCMDの書き方と使い分け、さらに併用 - Qiita
2019-06-01 追記 この記事より DockerfileのCMDとENTRYPOINTを改めて解説する - Qiita のほうがお勧めです。 元記事 Dockerfile referenceやDockerfile Best PracticesにENTRYPOINTとCMDの書き方と使い分け、さらに併用について書かれていました。 ENTRYPOINTとCMDの引数の書式 ENTRYPOINTの書式は以下の2種類があります。 ENTRYPOINT ["executable", "param1", "param2"] (シェルを介さずに実行。この形式を推奨) ENTRYPOINT command param1 param2 (シェルを介して実行) シェルを介して実行するほうは/bin/sh -cを使って実行するそうです。 CMDの書式は以下の3種類です。 CMD ["executable"
Alpine Linux入門 -環境構築編-
今、Docker界隈ではAlpine Linuxへの注目が急速に高まってきています。 Alpine Linuxは非常に軽量なディストリビューションであり、軽量なDockerイメージを作るために必要不可欠な要素になりつつあります。Alpine Linuxの有用性については、この間行われたJAWS-UGコンテナ支部 #4 - connpassでもお話させてもらったので、詳細はスライドをご覧あれ。 お前のDockerイメージはまだ重い💢💢💢 // Speaker Deck Alpineデビューする障壁 Alpineが軽いからといって、そうホイホイとDockerにalpineなイメージを簡単に作れるかというとそうではありません。最初はDockerfileを作るだけで相当消耗してしまうでしょう。そうならないためにも、Alpineの特性を抑えておく必要があります。 Alpineはデフォルトではか
Alpine Linux入門 -内部構造とapkでパッケージインストール編-
さて、前回のエントリはAlpine Linuxの環境を作ってみる話でした。 Alpine Linux入門 -環境構築編- - tehepero note(・ω<) 今回は実際にAlpine Linuxの中身を探索していったり、apkでのパッケージインストール等をやってみます。 前回使った仮想環境をそのまま利用します。前回の環境構築プロセスはもういいよって人は、Vagrant Cloudに公開されているboxを使うでもOKです。 各自のAlpine環境にsshでログインしている前提で話を進めます。 Alpineを探索する まずは素の状態のAlpineがどうのような状態になっているかを確認しておきましょう。Alpineは非常に軽量とされていますが、実際どの程度機能が絞られているかをある程度理解しておく必要があります。 /bin とりあえず基本的なプログラムが配置されている/binでも見てみまし
OutlookとGoogleカレンダーの同期設定
カレンダーやスケジュールの代表的なサービスといえば、OutlookとGoogleカレンダーではないでしょうか？それぞれパソコンやスマートフォンなどのデバイス間で自動的に同期できるので、仕事やプライベートで非常に便利です。 さらにOutlook.comカレンダーとGoogleカレンダーを同期させると、いつでもどこでもスケジュール管理が可能になります。そこで、今回はOutlookとGoogleカレンダーの同期設定の仕方を紹介します。 始めにOutlook.comカレンダーにログイン後、メニューから「共有」を選び、同期したいカレンダーを選択してください。 「リンクの取得」を選んでください。 「予定の詳細の公開」にある「作成」を押してください。 「その他のカレンダー アプリケーションへのインポート (ICS)」のアドレスが表示されますので、アドレス全体をコピーしてください。 続いて、Googleカ
Googleカレンダーにマイクロソフトのカレンダーを読み込ませる。（確認専用） - randiom365の日記
プライベートではGmailを使い、会社でもGmail（別垢）を使っています。 今回Office365を別団体で使うことになったのでどうにかGmailと連携できないか調べていたら解決できました。 目標：Googleカレンダーを開いてOffice365のスケジュールを確認する。 対処方法：読み込み元（MS）にて末尾に「ics」が付いているカレンダーURLを取得する。 まずはOffice365にアクセスしてカレンダーを表示します。 カレンダー（予定表）へは左上の四角いボタンからまっすぐ行けます。 カレンダーを開いたら次は右端に注目。 共有というボタンが小さく表示されています。 こちらを押すとメールUIが立ち上がり、カレンダー共有メールを送ることができます。 宛先を自分のGmailアカウントにして送りましょう。 共有条件が選択できますがそのまま進めましょう。 （ほんとはスケジュールをG垢から弄りた
君は最高のキーボード「Realforce」を知っているか。
君は最高のキーボード「Realforce」を知っているか。東プレ製の、1枚2万円近くする超高級キーボードだ。このキーボードは、とんでもなく高くて、とんでもなく打ち心地がよくて、とんでもなく頑丈で、そしてとんでもなく愛おしい、最高のキーボードだ。 俺とRealforceの出会いは、中学2年の夏だった。パソコンオタクでFPSをやっていた俺は、ゲームで強くなるために良い周辺機器を買おうと思った。ネットで情報を調べているうちに目に止まったのがRealforceだった。そのキーボードは地味な見た目で、特別な機能があるわけでも無ければ、デザインがいいわけでもなかった。しかし打ちやすくて頑丈だという評判だった。価格は2万円。中学生にとっての2万円は、大人にとっての20万円に相当する。とんでもなく高価な代物だ。しかし、地味だけど上質な道具というものは、時に厨二心をくすぐる。俺は悩んだ末、貯めておいたお年玉
envsubstを使ってShellでテンプレートエンジン的なことをする、Dockerコンテナ起動時にファイルを生成する - そんな今日この頃の技術ネタ
毎回の起動時に外部から指定された文言を含んだHTMLファイルを生成して、以降はそれを返すようなDockerイメージを作りたいという案件があった。 一度コンテナを起動してしまえば完全にスタティックなページなのでわざわざMySQL等には繋ぎたくないし、 ファイルを置いたボリュームをマウントするという手もあるがホストが複数台なので管理がめんどくさい。 できることならコンテナの起動時に環境変数として値を渡すようなDocker的にお行儀の良い方法をとりたいが、 文字列結合でHTMLファイルを生成するのもかったるい。 要件的には何がしかの言語のテンプレートエンジンを使えばよいところではあるが、 本当に一文だけなんでそれだけのためには大げさだよなぁ何か無いかなぁと思ってググッていたら、 envsubst なるものをみつけた。 どうやら環境変数を埋め込んだ出力ができるらしい。 $ export var1=
職人の国の生産性を上げる、最良の方法 | タイム・コンサルタントの日誌から
3月に新潟に行った際、宝山酒造（http://takarayama-sake.co.jp）という会社を訪問した。規模としては零細に近い造り酒屋だ。一応、工場見学、というか、仕込みと醸造の場所を見学させてもらった。平屋の木造で、いかにもゆかしい「酒蔵」である。それから、こうした見学のつねとして、畳敷きの小上がりの部屋に案内され、いくつか試飲させていただく。わたしはお酒に弱いたちで、日本酒の目利きなどでは全然ないが、それでもなかなか美味しいと感じた。 試飲させてもらいながら、酒造の来歴の説明をうかがう。どこから杜氏を呼び、どんな努力の結果、満足のいくお酒ができるようになったか。また同じ酒蔵の製品でも、高級な純米大吟醸から普及版の醸造酒まで、どんな特色と違いを出しているか。小さな会社でも企業努力の種類は大手と共通している。たしかに大吟醸の虹色めいた香りの広がりから、醸造酒の新潟らしいきりっとした
envsubstを使ってDockerで設定ファイルに環境変数を埋め込めこむ汎用的なパターン - Qiita
はじめに Docker使ってるとできるだけイメージは共通化して、設定ファイルはマウントで差し込み、環境ごとの設定差分は環境変数で埋め込む方向になってきます。 しかしながら、設定ファイルに環境変数を直接埋め込めるかは対象のソフトウェアの実装次第で、例えばfluentdは設定ファイルで環境変数を直接埋め込めるけど、nginxは環境変数を直接埋め込めなかったりします。 で、よくやるのは entrypoint.sh みたいなのを作って起動時にsedするという原始的な方法もあるけど、もうちょっとスマートな方法として、 envsubst という軽量なテンプレートエンジンを使うことで、設定ファイルに汎用的に環境変数を埋め込むことができて便利なので紹介したい。 インストール nginx:alpineには既にenvsubstコマンド入ってるので、そのまま使える。 他のイメージで入ってなければ以下の方法でイン
Markdown エディタ Typora が好きになる7つの理由 - A Memorandum
みなさんは Markdown エディタは何を使っているでしょうか？ Atom や Visual Studio Code のプラグインでプレビュー表示していたり、Windows だったらMarkdownPad 、Mac だったら MacDown などの専用エディタを使っている方が多いのではないでしょうか。 そんな方へTypora を紹介します。 Typora は無駄なプレビュー領域を使いません Typora には便利なショートカットがあります Typora ではテーブル書くのが楽しくなります Typora はドラッグ&ドロップで画像を貼り付けられます Typora はテーマもコードハイライトもあります Typora は PDF や HTML など多くの形式にエクスポートできます Typora はマルチプラットフォームで今の所 Free です まとめ Typora は無駄なプレビュー領域を使い
Amazon EC2 Container Service(ECS)の概念整理 - Qiita
概念図 とりあえずECSに出てくるエンティティがそれぞれどんな多重度で関連しているのかをまとめてみました。ここからはそれぞれのエンティがどんな概念なのかを解きほぐしていきたいと思います。 図1 概念図 Serviceが中心 ECSは平たく言うと クラスター（＝複数EC2インスタンスの集合）の上で Dockerコンテナを使って、 Serviceを動作させる ものです。 図2 例えばの構成 上図は、 Front Service (裏にいるAPIをCallしてWEB UIを提供するもの） API Service （ビジネスロジック、DBへの読み書きをRESTful APIで提供するもの） と言う２つのService で構成されるWEBアプリケーションの例です。 ECSで言うServiceは、Serviceは利用者から見た「サービス」よりも一段階か二段階細かいもので、APIサーバーとか、フロントサ
ACMに証明書をインポートしてお手軽に証明書利用 - サーバーワークスエンジニアブログ
寒さもひとしお身にしみるころ、皆様いかがお過ごしでしょうか。 ブログでははじめまして技術4課の酒井です。 去る10月13日にAWS Certificate Manager(以降 ACM)にサードパーティのサーバ証明書がインポートできる機能が追加されました。 これによりこれまではマネジメントコンソールから確認できなかったAWSにインポートされたサードパーティのサーバ証明書の有効期限や利用状況などが確認できるようになりサーバ証明書の管理が非常に楽になりました。 では実際にインポートの手順についてみていきましょう。 サードパーティのサーバ証明書の取得 各社で様々な種類のサーバ証明書が用意されておりますので用途に合わせて取得しましょう。 注意点として複数台のサーバにサーバ証明書をインストールする場合やロードバランサやCDNサービスにインストールする場合、各ベンダーごとにサーバ証明書のライセンス形態
[ACM] COMODO発行のサーバ証明書をACMにインポートして利用してみた | DevelopersIO
はじめに AWSチームのすずきです。 AWSが提供するACM（AWS Certificate Manager）のアップデートにより、 AWS以外の認証局、ComodoやSymantecなどが発行した証明書をACMにインポートし、 ELB、CloudFrontのHTTPS通信に利用する事が可能となりました。 今回、COMODOで発行されたサーバ証明書を、ACMにインポートする機会がありましたので、 紹介させていただきます。 Importing Certificates into AWS Certificate Manager Announcement: Announcing AWS Certificate Manager Support for Third-Party Certificates 事前準備 SSLサーバ証明書の発行は完了済みとします。 COMODO SSL > 申し込み更新ガイ
![[ACM] COMODO発行のサーバ証明書をACMにインポートして利用してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e10c36a6d4b1f695a66553f82a3d6a1f8b46fc38/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_certificate_manager.png)
RSA鍵、証明書のファイルフォーマットについて - Qiita
RSAの公開鍵暗号技術を利用するためには、鍵や証明書のファイルを扱う必要があるため、そのファイルフォーマットについて理解しておく必要があります。 実際、いろんな拡張子が登場するので、それぞれの意味を理解していないとすぐにわけがわからなくなります。そんなときのために備忘録をまとめてみました。 ファイルの拡張子の注意点 .DERと .PEMという拡張子は鍵の中身じゃなくて、エンコーディングを表している デジタル暗号化鍵やデジタル証明書はバイナリデータなのですが、MD5のハッシュ値のような単なる 値 ではなく、データ構造をもっています。.DERや .PEMはそのデータ構造をどういうフォーマットでエンコードしているかを表しています。そのため、.DERや.PEMという拡張子からそのファイルが何を表しているのかはわかりません。暗号化鍵の場合もあるし、証明書の場合もあります。 .DER 鍵や証明書をAS
production環境でRailsアプリをdockerコンテナとしてECSで運用するために考えたこと - Qiita
実際には、まだ本当の本番環境では運用できてなくて開発用のステージングで運用が開始できたぐらいで、他にもやること一杯あるんだけど、ある程度知見が溜まったのでまとめておく。 ちなみに、規模はそんなに大きくないがデータ量は多いアプリケーションで運用環境はAWSのECSを想定しており、現時点で普通のEC2ノードとコンテナで並行稼動している。 docker-swarmなりで自前でコンテナプールを構築してもいいのだが、そうするとサービスディスカバリとか考えなければいけないことが増えるので、後回しにしている。 (注: かなりサービス固有の事情が含まれるため、もし参考にされる方が居たとしても、そのままの形では適用できない可能性が高い) 追記: RailsアプリのためのDockerfileとdocker-compose.ymlのサンプル - Qiita コンテナ化のモチベーション CentOSのお守りからの
ECS を利用したオフラインジョブの実行環境 - クックパッド開発者ブログ
技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを
「ノーアジェンダ・どうしましょうか会議」の傾向と対策 - UNIX的なアレ
wadap.hatenablog.com 先日、こんなエントリーを書きました。割とエンジニアやデザイナーの方は経験したことがある会議ではないでしょうか。このワードに反応されていたので、少し掘り下げてみたいと思います。 「ノーアジェンダ・どうしましょうか会議」とは もうこの名前に全てが詰まってはいるので、経験したことがある人はすぐにわかるとおもうのですが、以下の点が揃っているとまさにその会議かと思います。 アジェンダが用意されていない とりあえず関係がありそうな人を呼ぶ 会議が始まり次第「どうしましょうか」的な空気が流れる ダラダラ長い 丸投げ感満載 というところでしょうか。会議そのものに主催者側の専門性があるものでは起きづらいのですが、自身が理解できない or 経験の無い領域の話になるとわりとこういう会議になりがちなのかなと思います。 会議の傾向 そしてこの会議が始まり「どうしましょうか」
Nginx + Rails (Puma) on ECS のいくつかの (本番環境にむけた) 構成例 - Qiita
コンテナの分離レベル, サービスの分離レベルに応じた 3 つの構成例を紹介します. 本投稿は以下を前提とします. ECS Cluster は構築済み VPC / Security Group / Application Load Balancer / RDS の構築ができる 要件 以下の要件は全構成例で達成すべきものとします. フロントエンドは Nginx, バックエンドは Rails5 (Puma) Rails の静的コンテンツ (public/ 配下) は Nginx が処理する また, 可能な限り Nginx-Puma 間は socket 通信を利用するものとします. 1. 単一コンテナ × 単一サービス 単一イメージに Nginx, Rails をまとめた, 最もシンプルなパターンです. 詳細の解説は省略します. 2. 個別コンテナ (Nginx, Rails) × 単一サービス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adobe、Flashを2020年に廃止。ChromeやFirefox、Edgeなど段階的にサポート終了
