タグ

awsとログに関するoonishinのブックマーク (2)

  • AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita

    CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで複数のログに対してLambdaを実行 CloudWatch LogsのS3エクスポートタスクを実行 ロググループ名やバケット名をStep Functionsから渡すことによってLambdaを汎化できる CloudWatch LogsのS3エクスポートタスクをポーリングする 複数同時にS3へのエクスポートタスクを実行できないため おさらい 視覚的なワークフローを使用して、分散アプリケーションとマイクロサー

    AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita
  • Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた

    みなさんこんにちは。@ryuzeeです。 6月10日にAmazon Web Services企業導入ガイドブックが発売になっていますのでよろしくお願いします。 さて今回はAWS上でログ収集と分析をする際に、Amazon Elasticsearch Serviceを使う前提とした場合だとどのような構成案がありそうかいくつか考えてみたのでご紹介します。 なお、検討の材料にしている全体の構成としては、複数のVPC(またはAWSアカウント)があって、さらにオンプレ側とDirect ConnectやInternet VPNで接続しているような、よくあるそれなりの規模の構成になります。 各VPCの中には複数のサブネットがあり、そのうちのいくつかはプライベートサブネットに分かれているものとします(個人的にはインターネットゲートウェイの有無しか違いがないので、プライベートサブネットあまり作りたくない)。

    Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた
  • 1