firehoseの検索結果41 - 45 件 / 45件

• あとで読む

  [Tips] Firehoseで吐いたJSONが繋がったファイルをPythonでパースしてみる | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2020/02/09

  CX事業本部の夏目です。 IoTのバックエンドをサーバーレスで開発しているのですが、デバイスからMQTTで上がってくるデータをIoT Rule -> Kinesis Data Strem -> Kinesis Firehose -> S3 Bucketといった形で吐き出させています。 しかしこのデータ、JSONの形式とは一致しないため、パースするには工夫が必要です。 今回はPythonでパースする方法を共有します。 データ {"payload":{"id":"4d497f23-41c8-4488-8a45-099875a83106"},"timestamp":1581080246231}{"payload":{"id":"546c0712-2c93-424c-8350-f7ab3aaa3117"},"timestamp":1581080246785}{"payload":{"id":"9c

  
• あとで読む

  Amazon EKSでFluent Bitを使ってAmazon Kinesis Data Firehoseへログ転送する際のポイント / Transfer logs to Amazon Kinesis Data Firehose with Fluent Bit on Amazon EKS

  • 3 users
  • speakerdeck.com/isaoshimizu
  • テクノロジー
  • 2019/09/04

  2019年8月28日（水） Kubernetes Meetup Tokyo #22 5分LT枠

  • web
  • あとで読む

  
• あとで読む

  Firehose のサードパーティ連携を利用してDatadogへのログ転送を試してみた | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2020/08/19

  AWSチームのすずきです。 2020年7月にHTTPエンドポイントへのデータ配信をサポートした Kinesis Data Firehoseを利用して、 DataDog (Log Management) へのログ転送を試す機会がありましたので、紹介させていただきます。 設定手順 Datadog の Webコンソール で案内された手順で設定を行いました。 「Logs」→「GettingStart」→「Cloud」→「AWS」→「Kinesis Firehose」 当画面で確認できるDatadogのAPIキー、Firehoseの設定で必要となるので控えます。 AWS設定 S3 Kinesis Data Firehose と同一リージョンに、ログ出力先となる S3 バケットを設置しました。 S3の設定はデフォルトで利用しました。 S3のストレージ費用が問題となる規模で利用する場合、ログ保存要件に応

  • aws

  
• あとで読む

  FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送る - Qiita

  • 3 users
  • qiita.com/ruru8
  • テクノロジー
  • 2020/09/18

  FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送るAWSFluentdfluentbitFargateFireLens やりたいこと ECS Fargateで動いているRailsのアプリケーションログをFirelens(カスタマイズしたfluent-bitのイメージ)を使ってCloudWatchと2つのFirehoseにそれぞれ送りたい。 ①ECS Fargate -> Firehose -> S3 (foo_log) -> Glue -> Athena ②ECS Fargate -> Firehose -> S3 (bar_log) -> Glue -> Athena ③ECS Fargate -> CloudWatch (全てのログ) にログを送りたいという想定。 (fooとbarはある特定の条件のロ

  
• あとで読む

  Audioデータをクラウドに送ってみました。　MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO

  • 3 users
  • dev.classmethod.jp
  • テクノロジー
  • 2021/04/17

  Audioデータをクラウドに送ってみました。　MQTT + Amazon Kinesis Data Firehose + S3 (JSON) 1 はじめに CX事業本部の平内（SIN）です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォル