【書評】「AWS を使って学ぶ 監視設計」 #技術書典 | DevelopersIO
技術書典 にて頒布予定だった 「AWS を使って学ぶ 監視設計」 をご紹介します！ とても良い内容でした！！ 園部です。 残念ながら現地開催はされなかった 技術書典8 で頒布予定だった 「AWS を使って学ぶ 監視設計」 を電子版で購入し読みました！ とても良かったので、紹介させていただきたいと思います。 概要 （上記販売ページより引用） この本について 主に監視の設計手法を紹介する本です。 この本では、「モニタリング(監視)」 というテーマについて、CloudWatchを中心にAWSの各サービスを見ながら、どのように監視を設計していくかを著者の経験を基に説明していきます。 私自身、ここ数年で開発メンバー、リーダー、テックリードといくつかの立場を経験しましたが、どの立場にいてもシステム開発に携わる以上、監視というのは重要な要素になってきます。特にここ数年はSLI/SLOを導入するなど、監視
AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita
CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで複数のログに対してLambdaを実行 CloudWatch LogsのS3エクスポートタスクを実行 ロググループ名やバケット名をStep Functionsから渡すことによってLambdaを汎化できる CloudWatch LogsのS3エクスポートタスクをポーリングする 複数同時にS3へのエクスポートタスクを実行できないため おさらい 視覚的なワークフローを使用して、分散アプリケーションとマイクロサー
Amazon CloudWatch Logs Insightsでログの高速な分析が可能になりました #reinvent | DevelopersIO
大栗です。 現在re:Inventに来ています。新サービスラッシュに大忙しなのですがCloudWatch Logsの分析機能が登場したのでレポートします。 Amazon CloudWatch Logs Insights Amazon CloudWatch LogsにはAWSのサービスのログが大量に出力できます。VPC Flow Logs、Route 53 log、CloudTrail、ECSログなど様々なログがあります。これらのログを分析するためにはデータをエクスポートして分析を行う必要がありました。今回のアップデートによりログの分析をCloudWatch Logs上で行えるようになりました。 CloudWatch Logs Insightsでは数秒で大量のログデータを読み込み、クエリを発行でき可視化も行えます。CloudWatch Dashboardにクエリを追加することも可能です。 ク
AWS Fargate事始め〜CloudWatch Logsにこんにちは | DevelopersIO
はじめに こんにちは、HOMELAND第7シーズンが始まって毎週待ち遠しい井手です。 入社して間もない頃、「社内システムの一部をFargateで代替できるか調査してみて」との天啓を得ました。 まずはお約束としてなるべく手順が少なく「CloudWatch Logsにこんにちはと表示させる」（今回要件的にマルチバイト文字がミソ）をやってみたのでご紹介したいと思います。 Fargateとは Fargateとは一言で表すと「サーバーやクラスターの管理が不要なコンテナの実行」 = EC2不要でコンテナが実行出来るサービスです。 ※（参考）公式ページ ※個人的にはHerokuっぽいイメージのサービス。 注意点 FargateはECS上の起動タイプで「Fargate」を選択する事で利用出来ます。 ※EKS対応は2018年内予定 3/28日現在米国東部 (バージニア北部) リージョンでのみ利用できます。
GuardDutyの結果をSNSで通知する #reinvent | DevelopersIO
はじめに Amazon GuardDuty はAmazon CloudWatch Eventsに基づいて通知を送信します。 ClodWatch EventsでLambdaを起動し、SNSにpublishしてみました。 SNSトピックの作成 東京リージョンに"sns-test"トピックを作成します。 サブスクリプションには、メールアドレスを登録しました。 Lambda関数の作成 ランタイムはPython 3.6を利用します。 eventデータをそのままsns-testトピックにpublishします。 関数名はGuardDutytoSNSとしました。 import json import boto3 def lambda_handler(event, context): client = boto3.client('sns') response = client.publish( TopicA
【レポート】自動セキュリティ分析サービスGuardDutyのよくわかる解説 #reinvent # SID218 | DevelopersIO
こんにちは、臼田です。 今回はre:Invent 2017で行われたSID218 - Introduction to Amazon GuardDutyについてレポートします。 自動セキュリティ分析サービスであるGuardDutyのデモや原理、具体的な活用方法について説明があり大変いい内容でした。 GuardDutyをきっちり理解したい人向けです。 レポート GuardDutyとは クラウドのために再考された脅威検知サービス AWSアカウントと、その内部で動作するアプリケーション・サービスを継続的に監視・保護する 既知・未知(ゼロデイ)の脅威を検出する AIとML(機械学習)を利用する 脅威情報(インテリジェンス)の統合 CloudTrail、VPC Flow Logs ＆ DNSでの動作 詳細で対応可能な調査結果 筆者コメント: 簡単に表現すると、「ログを機械学習に突っ込んで役に立つ脅威情
AWS SES(送信)でトラブルを起こす前に気をつけておきたいこと - Qiita
はじめに AWS SES(simple email service)を使うときに監視したい項目と監視手段についてまとめてみました。 CloudWatchのカスタムメトリクスに登録するときのツールを用意しましたので参考にどうぞ - github/uzresk/cloudwatch-scripts SESを使い始めるのは簡単ですが、1日の送信数、1秒あたりの送信数に制限があることと、信頼性の低いメールを送信し続けると利用停止になる可能性があります。そうなっては手遅れですのでCloudWatchなどを使って定期的に監視＆アラートを設定しておきましょう。 SESとは？ SESとはSimple Email Serviceの略で、メールを送受信できるようにするためのマネージドサービスです。 送信の場合、SMTPサーバとして使うこともできますし、aws cli/sdkを使ってメール送信することもできます
できるだけシンプルな仕組みで簡単にEC2の自動起動・停止を実現したい！ | DevelopersIO
こんにちは、このすばのアニメ新企画が決定してテンションが上がっている城内です。 はじめに AWS上でシステムを構築していると、インフラ構築中やアプリ開発中などは、コスト削減のために使わないリソースは極力止めておきたいと考えるかと思います。 私もEC2で大きめのインスタンスを立てているときなどは、結構気になります。 先日も環境構築をしていて、夜や週末にEC2を止めておきたくなり、でも手動でやるのはなーと思い、軽くググってみました。 aws ec2 自動 起動 停止 - Google 検索 まあ、よくある要望なのでやり方はたくさん出てきたのですが、別に運用で使うわけでもないため、ササッとやりたいですし、そのために余計なリソースも使いたくないと考えました。 で、まずは以下の記事を参考に作ってみました。 EC2インスタンスをスケジュールで自動起動・自動停止させる(定時出社・定時退社) ただ、上記の
AWS CLI + Amazon CloudWatchを利用してのエラーログの監視 - Sanwa Systems Tech Blog
こんにちは、罰金の徴収担当の高橋です。 前回のOWAZP ZAPのつづきを書こうと思ったのですが、 AWS CLI + Amazon CloudWatchでエラーログの監視をしてみたので、紹介します。 エラーログ発生数の可視化 エラーログの発生している状況を簡単に検知・可視化することができないかと思い、 AWS CLI + CloudWatch + bashを使用して、エラーログがどれだけ発生しているのかを可視化してみました。 AWS CLI （Amazon コマンドラインインターフェース）とは AWSのサービスをコマンドラインで使用するためのツールです。 今回はEC2で取得したデータをCloudWatchに送信するために使用します。 *1 Amazon CloudWatch とは AWS上のリソースの監視を行うためのツールです。EC2やRDSのCPU使用率、ネットワーク転送量などの監視す
ZabbixでAWS/CloudWatchの値を取得してみた ｜ Developers.IO
CloudWatchの値をZabbix側でも見られるようにしたので、その手順を共有します。 CloudWatchの値をZabbixで取りたい理由 Zabbixでは最初から非常に多くの項目を監視できるのですが、AWS等のクラウドを利用していると、必要だけど監視できない項目が出てきます。RDSやELB等のフルマネッジドサービスのリソース状況はもちろんのこと、EC2のCPU使用率といった一見Zabbixで監視できそうなリソースも、実は正確な値は取れていません。 一方、CloudWatchはEC2内部の情報、例えばロードアベレージやプロセスの監視はできません。また、データの保持期間が14日間なので古い情報は見られません。 そこで、CloudWatchの情報をZabbixに貯めるようにすれば、、両方を一元的に管理できるし、情報の保持期間も好きなように設定できるようになります。 Zabbixの外部チェ
【新機能】APIレベルのイベント駆動処理を行うCloudWatch Eventsが発表されました！ | DevelopersIO
類似した機能を比較してみると、様々な条件で、関連を一箇所に集約して記述でき、様々な処理を、ほぼリアルタイムで実行できる、という良い所取りな機能ということですね。 設定してみる マネージメントコンソールでCloudWatchを見てみると、イベント が増えています。イベントのルールを作成します。 Step 1: Create rule 起動条件の選択（Event selector）と起動する処理（Targets）を指定します。 Event selectorでは、以下の5種類から選べます。 EC2 instance state change notification スケジュール AWS API call AWS console sign-in Auto Scaling Targetsでは、以下の4種類から選べます。 Lambda function SNS topic Kinesis strea
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Application Performance | Google Cloud