DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！ いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。 今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること 要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
![[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
EC2インスタンスからFluentdを使ってKinesis Data Streamsにログを送信する - Qiita
概要 EC2インスタンスからFluentdを使ってKinesis Data Streamsにログを送信するアーキテクチャを構築します。 fluent-plugin-kinesisでKinesis Streamsにログを送信する こちらの記事を参考にしました。 基本的な流れは同じですが、簡単な説明だったり情報が古かったりして少し戸惑ったのでまとめました。 今回は一から作成していますが、必要に応じて作成済みのものを利用してください。 環境 作業 OS：macOS Mojave EC2 OS：Amazon Linux 2 AMI (HVM) fluentd：1.4.2 td-agent：1.3.3 fluent-plugin-kinesis：3.0.0 ruby：2.6.2 目次 EC2の作成 Streamの作成 EC2にロール付与 (1) StreamのARNを指定して、Kinesisのポリシ
JAWS-UG CLI #22 Amazon Kinesis
JAWS-UG CLI #22 Kinesis ハンズオンの講師を担当しました。Kinesisの説明で使用する資料でございます！
ビッグデータ時代のキーテクノロジ、「CEP」とは何か
ビッグデータ時代のキーテクノロジ、「CEP」とは何か：戦略的ITを実現するキーテクノロジ（1）（1/2 ページ） 本連載では、戦略的IT活用を実現する「これからの技術要素」を紹介していく。現代のキーテクノロジのアウトラインをつかむことで、ビジネスの新たな可能性を考えたり、「経営に貢献する情報システム部門」への変革を図ったりするための一助にしてほしい。 「経営への貢献」を求められている情報システム部門 ビジネスがグローバル化し、市場競争も激化している現在、企業は市場動向変化に俊敏に対応することが求められている。特に、新規サービスのリリー ス、新たな付加価値の提供など、何をするにもITの力抜きでは語れない今、システム活用の在り方そのものが企業の命運を握ると言っても、決して過言ではない。 こうした中、情報システム部門に求められる役割も大きく変わろうとしている。言われた通りに作るだけだったり、パッ
Amazon KinesisはRedshiftに匹敵する破壊力 ─Hapyrus藤川氏に聞くAWSビジネスのトレンド | gihyo.jp
今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ──前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト
AWS CLIを使って初めてAmazon Kinesisを使ってみた - Qiita
Amazon Kinesisを使った事がなかったので、以下のチュートリアルをやってみた時のメモ。 チュートリアル: AWS CLI を使用した Amazon Kinesis の使用開始 また、操作はAWS CLIのみで実施 ストリームを作成してみる まずはデータをKinesisへ登録するために必要なストリームを作成。 # 作成 $aws kinesis create-stream --stream-name Foo --shard-count 1 # 確認.作成中 $aws kinesis describe-stream --stream-name Foo { "StreamDescription": { "StreamStatus": "CREATING", "StreamName": "Foo", "StreamARN": "arn:aws:kinesis:us-west-2:<acc
最適なデータベースを選択するために考慮するべきこと - Qiita
{"name": "佐藤", "age": 22, "edu-background": "Hoge University"}, {"name": "鈴木", "age": 24, "edu-background": "Fuga University", "foreign-lang": ["English", "Spanish"]}, {"name": "髙橋", "age": 25, "edu-background": "Fuga University", "foreign-lang": ["English"], "written-book": ["Intro to DB"]}, {"name": "田中", "age": 33, "edu-background": "Foo University", "written-book": ["Intro to Java", "Advanced
事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IoT時代におけるストリームデータ処理と急成長の Apache Flink
https://d1.awsstatic.com/International/ja_JP/Whitepapers/Serverless_Streaming_Architecture_Best_Practices_JA.pdf
Workshop Studio
Workshop Studio