【AWS DevDay Tokyo 2019 セッションレポート】40分で分かるDynamoDBでのApp開発 #awsdevday | DevelopersIO
AWS DevDay Tokyo 2019のセッション、「40分で分かるDynamoDBでのApp開発」をレポートします。 セッション概要 Amazon DynamoDBはフルマネージドサービスで提供されるkey-value およびドキュメントデータベースです。世界中でもAmazonを始め多くのユーザーに利用されており、是非このセッションでDynamoDBを利用した開発の導入部分を学んで頂きたいと考えています。 本セッションではpythonで書かれたサンプルアプリを例として主要なデータ操作、よく比較されるRedisとのユースケースでの使い分けなどを解説します。 是非アプリケーション開発でDynamoDBを導入する手助けになれば幸いです。 スピーカー アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 成田 俊（@oranie）さん セッション内容 Introducti
[アップデート] Amazon DynamoDBがリソースベースポリシーをサポートしました | DevelopersIO
別アカウントからのアクセス許可を簡単に行いたい こんにちは、のんピ(@non____97)です。 皆さんはDynamoDBに対して別アカウントからのアクセス許可を簡単に行いたいなと思ったことはありますか? 私はあります。 従来、別アカウントから自アカウントのDynamoDBにアクセス許可をするためには、自アカウント内のIAMロールにAssume Roleさせてから操作をする必要がありました。手元でAWS CLIで操作する場合はプロファイルを指定するだけなので訳ないですが、Step FunctionsのステートマシンやLambda関数で別アカウントのDynamoDBを操作する際は、都度Assume Roleする必要があり非常に手間です。 Step Functionsでタスク毎にAssume Roleする方法は以下記事をご覧ください。 今回、アップデートによりAmazon DynamoDBでリ
![[アップデート] Amazon DynamoDBがリソースベースポリシーをサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/38e9929fa6251377ccd1a0b39defb8126be9eef4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-dynamodb.png)
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、DynamoDBをSQLで操作可能に。SQL互換のクエリ言語「PartiQL」対応を発表」（2020年11月25日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）はこのほど、NoSQLデータベースサービスのDynamoDBが、SQLで操作可能になるSQL互換のクエリ言語「PartiQL」に対応したことを発表しました。 DynamoDBはキーバリュー型のスケーラブルなNoSQLであり、AWSの代表的なデータベースサービスの1つです。 もともとNoSQLには業界標準の問い合わせ言語がないため、DynamoDBも独自のコマンドを用いてデータの追加、更新、削除、検索などの操作を行う必要がありました。 NoSQLデータベース、特にキーバリュー型のデータベ
[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートによりKinesis Data Streams for DynamoDBが利用可能になりました。この機能を利用すると、DynanoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャすることが可能です。 これまでもDynamoDB ストリームを利用してDynamoDBの変更をキャプチャすることはできましたが、今回Kinesis Data Streamsによるサポートが追加されたことで、より高度なシナリオに対応できるようになりました。 例えばですが Kinesis Data Analyticsを利用してストリームされた変更内容を分析する Kinesis Data Firehoseを利用してS3やAmazonES、Redshiftといった別サービスにデータを投入する といったことが可能になりま
![[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
How CyberZ performs read-light operations to display followees’ activities in the timeline using Amazon DynamoDB | Amazon Web Services
AWS Database Blog How CyberZ performs read-light operations to display followees’ activities in the timeline using Amazon DynamoDB About CyberZ CyberZ, Inc. is an advertising agency that was founded in 2009 and specializes in smartphone marketing. At CyberZ, we have developed a wide range of marketing businesses, including advertising on the smartphone and measuring its effectiveness, creation of
AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.06.17 ｜ Writer：H.Mori AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス 多くのユーザーが頻繁に訪れて利用するオンラインサービスは、大量のデータを滞りなく処理し、さらに拡張していく必要があります。では、このようなデータ管理を効率的に行うにはどうすればいいのでしょうか？ AWSではそのひとつの答えとして、数ミリ秒台のパフォーマンスを実現するデータベースである「Amazon DynamoDB」を提供しています。本コラムではその特徴や利用例を紹介します。 大量データを高速に処理し、無限の拡張性を持つべく誕生したAmazon DynamoDB インターネット上で展開される、広告やゲーム、メディア配信、ショップ、金融、予約、IoTなど、非常に多くのユーザーの要求に対応しデータ処理を迅速に行うことが必要なビジネスが急成長しています。こ
DynamoDB むずい。具体的には テーブル設計がむずい カラムのrenameやテーブル名のrenameがむずい テーブル設計にも関わるが、検索がパーティションキーとソートキーを通してしかできない。もしくは、別にindexテーブルをつくるGSIやLSI機能を利用する。 RDBのように正規化して保存するのではなく、欲しいデータをほしい形で保存するみたいに言われるけど、結局データの持ち方の理想形がわからない。 また、既存のカラムのrenameができなかったり、テーブル名のrenameができなかったりする。 これらのrenameがしたい場合は、dynamodbのstreamという機能を使ってデータを新しいカラム(もしくはテーブル)に流しつつ、既存のデータをコピーしないと行けない。しんどい。 既存のテーブルの形の修正がしにくいから、結局最初に設計した未熟なテーブルの良くない部分をアプリケーション
DynamoDB利用時の書き込みスキュー（Write Skew）の回避 | フューチャー技術ブログ
はじめに一般的に複数のトランザクションが並行して同じオブジェクトに対してアクセスを行う場合には、トランザクションの分離レベル（SERIALIZABLE/REPEATABLE READ/READ COMMITTED/READ UNCOMMITTED）によって様々な問題が発生します。 DynamoDBは2018年にトランザクションがサポートされましたが、本記事ではファントムリードによる書き込みスキューの問題とその対応について取り上げたいと思います。 書き込みスキューとはまずはじめに、「書き込みスキュー」とは具体的にどのような問題なのか、まず例を見てみるのが一番わかりやすいでしょう。 書き込みスキューの例ここではイベントの申し込みシステムを考えてみましょう。 要件としてイベントの申し込み人数の上限は3人であると仮定します。 これを実現するためには、ユーザが申し込みの要求を行なった際に現在の申し込
AWS Hands-on for Beginners Serverless #1: サーバーレスアーキテクチャで翻訳 Web API を構築する ~ Amazon DynamoDB編 ~ - お寿司エンジニアリング
AWS勉強中のhisacomです。 本記事は下記のハンズオンメモの続きとなります。 osushi-engineer.hatenablog.com 以下の10ステップでハンズオンが行われます 1. サーバーレスアーキテクチャの概要 2. AWS Lambda の概要 3. AWS Lambda ハンズオン① - AWS Lambda を単体で利用する 4. AWS Lambda ハンズオン② - AWS Lambda から他の AWS サービスを呼び出す 5. Amazon API Gateway の概要 6. Amazon API Gateway ハンズオン① - Amazon API Gateway を単体で利用する 7. Amazon API Gateway ハンズオン② - Amazon API Gateway と AWS Lambda を連携する 8. Amazon DynamoD
AWS SAMのDynamoDBテーブル定義を別のCloudFormationテンプレートに分離してみた | DevelopersIO
CloudFormationの既存リソースのインポート機能を使って、AWS SAMで定義したDynamoDBテーブルの定義を異なるテンプレートに分離してみました。 AWS SAMでサーバーレスなアプリケーションを作っていると、1つのテンプレートファイル内にLambdaやDynamoDBの定義を書くと楽です。 しかし、あとから「DynamoDBの定義を分離したいな……」となることがたまにあります。例えば、CloudFormationのリソース上限200個が見えてきたり、そもそもデータストア層とアプリ層を同じテンプレートに書いて頻繁にデプロイ対象にしたくないなどです。 そんなとき、CloudFormationのインポート機能を使えばテンプレートファイルを分離できるのでは？と思ったので試してみました。 適当なAPIを作成する アプリを初期化 sam init \ --runtime python
[レポート] Amazon DynamoDB データモデリングのコアコンセプト #AWSreInvent #DAT329 | DevelopersIO
re:Invent 2023 で行われた BreakOut セッションData modeling core concepts for Amazon DynamoDB (DAT329)のセッションレポートです。 概要 Developers experienced with Amazon DynamoDB can join this session to learn the core concepts of DynamoDB data modeling. Explore best practices for common access patterns used by DynamoDB customers for applications that need consistent, fast performance at any scale. Learn best practices and
![[レポート] Amazon DynamoDB データモデリングのコアコンセプト #AWSreInvent #DAT329 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
RSS非対応なページの更新状況をLambda+DynamoDBで毎日確認してみた | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 皆さんはインターネット上で「このページの更新を追っかけたいのにRSS対応してない・・・！」となったことはありませんか？ 今回はそうなってしまった自分のためにページの更新状況を確認する仕組みを作ってみました。 （RSS非対応を追う仕組みを持つプラグインやサービスはいくつか存在していますが、しっくり来なかったため） ちなみに、RSSに対応しているページの場合は以下のような仕組みで実現が可能です。 前置き この仕組みは、実際に取得リクエストが送信されるため高頻度で実施しないようにしてください（相手のサーバに負荷を与える行為と判定される可能性があります） ページを取得してハッシュ化し、差分チェックを行うという仕組み上、ページのレスポンスが毎回異なるサイトなどには利用できません（ハッシュ値が毎回異なるため） 構成図 本エントリの構成図です。 Cl
はじめに LambdaとDynamoDB使ってAPI作ることになったんで、いろいろ試したメモ 詰まった点や、解決法など、参考になれば。（主に自分用のメモですが） なおメソッドはPOSTでやっています。GETの記事が多かったので参考になれば。 この記事でやること DynamoDBでテーブル作成 Lambda上でDynamoDBの値を取得（select） Lambda上でDynamoDBに値を挿入(insert) Lambda上でテスト API Gatewayの設定 curlによるリクエストとレスポンス DynamoDBでテーブル作成 テーブルを作ります。 「テーブルの作成」をクリックし テーブル名とプライマリキー、必要であればソートキーを入力します。 DynamoDBはテーブル作成時にはPrimary KeyとSort Keyのみの指定であとはレコード挿入時に設定します。 レコードをコンソー
こんにちは！コンサルティング部のキムです！ 昨日は「【サーバーレス】18,570本のブログの形態素分析をやってみた」という記事を書きましたが、その中で 「100個のURLは確実にDynamoDBの中に格納されたんですが、何故か40個ほどのストリームイベントだけがトリガーされて、残りのストリームイベントはトリガーされてなかったです。他の作業をやりながら1時間以上を待っていても結果は同じでした。」 ということを書き、弊社の優秀なエンジニアたちにたくさんのコメントを貰いました。（怒られました） なので今朝、朝一何が問題だったか、DynamoDB Streamsは想定通り動くのかを確認してみましたので、その結果を共有したいと思います。 （結果として、恥ずかしいながら、100% 私のミスでした。） 目次 DynamoDB Streamsは本当に問題があったのか 結論から言うと、私の使い方がそもそもD
メンテナンスし辛いMovableTypeをHeadlessCMSとして使えるようにAWS DynamoDB, S3を使って改修する
10年漬けのMovableTypeとか触りたくないですよね そして10年も記事がたまってると静的ファイルを生成する仕組みなので全再構築するとサーバースペックによっては１日以上かかり何万件・何十万件ものファイルが生成されたりします。 MobableTypeとウェブサーバーが別の場合は、rsyncで同期することが多いと思いますが、rsyncに負荷がかかりアクセスがない時でも重くなったりします。 また、MobableType管理外のファイルと管理下のファイルの見分けがつかないことや、生成されたHTMLもPHPを使って中途半端にSSRされていたり、運用コストが大変しんどくなっていきます。 MovableTypeのMTテンプレート自体もどんな処理がされるのか一目でわからなかったり、記事Modelが曖昧でバグが出やすくメンテナンスがしづらい欠点があります。テンプレートからバッチ処理が走るような記述が書
DynamoDB Mapper for Java でサポートされるデータ型 - Amazon DynamoDB
このセクションでは、Amazon DynamoDB でサポートされているプリミティブな Java データ型、コレクション、および任意のデータ型について説明します。 Amazon DynamoDB では、次のプリミティブな Java データ型とプリミティブなラッパークラスがサポートされています。 String Boolean, boolean Byte, byte Date (ISO_8601 ミリ秒精度文字列、UTC に転換) Calendar (ISO_8601 ミリ秒精度文字列、UTC に転換) Long, long Integer, int Double, double Float, float BigDecimal BigInteger DynamoDB での命名規則およびサポートされている各データ型の詳細については、「Amazon DynamoDB でサポートされるデータ型と命名
Retool で AssumeRole してDynamoDBテーブルにアクセスする（アクセスキーが流出しても、被害を最小限にしよう） | DevelopersIO
いろんなデータベースやAPIと接続してWebアプリをサクッと作れるRetoolですが、DynamoDBと連携する場合は、IAMユーザのアクセスキーを使います。 もし、アクセスキーが流出したら一大事です。 そこで、AssumeRoleを使って、少しでも影響が小さくなる方法を試してみました。 Retoolについては、下記をご覧ください。 おすすめの方 RetoolでAssumeRoleしたい方 IAMユーザとIAMロールと実験用のDynamoDBテーブルを作成する CloudFormationテンプレート 下記を作成します。 Retool用のIAMユーザ Retool用のIAMユーザに付与するIAMポリシー（AssumeRoleのみ可能） Retool用のIAMユーザがAssumeRoleするIAMロール（DynamoDBに対する操作権限のみ） DynamoDBテーブル AssumeRoleを
Serverless Frameworkを利用し、DynamoDBを使ってみた。 | DevelopersIO
こんにちは。イムチェジョンです。 今回はServerless Frameworkを利用してDynamoDBを使ってみるハンズオンをやってみようと思います。 AWS Management Consoleを利用してDynamoDBを使ってみるハンズオンを前にブログで作成したので、よろしかったら、下の青いタイトルをクリックしてください。 NoSQL テーブルを作成してクエリを実行する 今回は上のハンズオンでやったNoSQL テーブルを作成してクエリを実行することをServerless Frameworkを使ってやりたいと思います。 アジェンダ Serverless Framework 初期設定 DynamoDB テーブルの作成 DynamoDB テーブル操作（関数） まとめ 1. 初期設定 1-1. サービスを作成 まず、Serverless Frameworkのサービスを作成します。 サービス
DynamoDBを使いやすくしたJavascript(Typescript)のライブラリを作成したので紹介します - Qiita
でインストールします。 特徴 RailsのActiveRecordの使用感に合わせた形で作成しました。ActiveRecordと大体同じ感覚で使え、ActiveRecordの機能をできるだけ再現できるように作りました。 なぜ作った? 公式のaws-sdkがすごく使いにくい!! aws-sdk を使ってDynamoDBを操作する開発に限界を感じ、使いやすい ORM も存在しなかったため作成しました。(共通の悩みを持っている人も多くいるようです(参考を参照)) 機能の追加希望などの意見がありましたら教えてください。プルリクもお待ちしています。 参考 Node.js で DynamoDB を操作するためのチートシート[DynamoDB.DocumentClient][AWS] DynamoDB を使う ローカル環境での開発環境の構築 プロジェクト(NodeDynamoDBORM)の中ではDyna
[AWS IoT] MQTTでjsonデータをpublishしたことをトリガにDynamoDBにjsonデータを格納する方法 - Qiita
[AWS IoT] MQTTでjsonデータをpublishしたことをトリガにDynamoDBにjsonデータを格納する方法AWSIoTCore はじめに ここでは、AWS IoTを用いて、自宅にあるIoT機器からの情報をAWSクラウドを通じて何かシステムを構築できないかな。と思い、1つひとつAWSクラウドの勉強したときのノウハウをまとめています。備忘録としてまとめているので、誤りがありましたのでご指摘ください。 今回は、 [AWS IoT--->DynamoDB]のデータ保持方法 についてです。 実際は、IoT機器からデータをクラウドにuploadする想定です。 まずは、「クラウド上にデータが届いてから保持する」箇所を作成します。 事前準備 ・今回取り扱うデータを何にするか。 ・どのような形式で通信を行うか。 を決めます。 取り扱いデータは以下の5つとします。 (1)管理ID (2)時刻
![[AWS IoT] MQTTでjsonデータをpublishしたことをトリガにDynamoDBにjsonデータを格納する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/420b2a1269c5c81c9d4cc8f80b0a269ede2278de/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTIwSW9UJTVEJTIwTVFUVCVFMyU4MSVBN2pzb24lRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODIlOTJwdWJsaXNoJUUzJTgxJTk3JUUzJTgxJTlGJUUzJTgxJTkzJUUzJTgxJUE4JUUzJTgyJTkyJUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgyJUFDJUUzJTgxJUFCRHluYW1vREIlRTMlODElQUJqc29uJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJTkyJUU2JUEwJUJDJUU3JUI0JThEJUUzJTgxJTk5JUUzJTgyJThCJUU2JTk2JUI5JUU2JUIzJTk1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz02MTcwMzQ3MmJmMzE2ZDFmZjNiMTY4MzRhYzI1YWVjOA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBwa29wa28tYjgmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTJhNzliM2ZjOTViZTVmYjEzYzk1NDc0N2Y2Njc3ZmQw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9010f5f517d575a2d65de928b38f5eda)
This section covers best practices on how to optimize costs for your existing DynamoDB tables. You should look at the following strategies to see which cost optimization strategy best suits your needs and approach them iteratively. Each strategy will provide an overview of what might be impacting your costs, what signs to look for, and prescriptive guidance on how to reduce them.
How to model one-to-many relationships in DynamoDB | DeBrie Advisory
DynamoDB is sometimes considered just a simple key-value store, but nothing could be further from the truth. DynamoDB can handle complex access patterns, from highly-relational data models to time series data or even geospatial data. In this post, we'll see how to model one-to-many relationships in DynamoDB. One-to-many relationships are at the core of nearly all applications. In DynamoDB, you hav
DynamoDB Streamsは同一ハッシュキーでもソートキーが異なれば順序保証されない | フューチャー技術ブログ
はじめにTIG DXユニットの真野です。 タイトルに書いたままの内容の記事です。おそらくDynamoDB Streams について調べたことがある方の多くの人には自明な内容だと思います。サマリです。 DynamoDB Streamsの起動順序が保たれるのは 項目単位 ハッシュキーのみのテーブルであればその単位 ハッシュキー＋ソートキーのテーブルであれば、 ソートキーまで含めた単位 ソートキーが異なれば、起動順序が異なる可能性がある よく耳にするDynamoDB Streams シャードに言い換えると、シャードが同じであれば順序制御される 異なるシャード同士では当然、順序保証はされない 同じハッシュキーでも、ソートキーが異なれば異なるシャードに割り当てられる可能性がある（あった） DynamoDB Streamsのシャードは、DynamoDBテーブルのパーティションとは管理粒度が異なる 私が
本記事は わた推し～AWSアワードエンジニア編～ 4日目の記事です。 💻 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 9名で連載となる「わた推し～AWSアワードエンジニア編～」の4番打者を務めさせていただく、4番 ショート 小林です。（記事が短めという意味です） 私が推すサービスは「Amazon DynamoDB」（以下、DynamoDB）です。 DynamoDBが生まれたのは2012年と、当時は私の周りはRDBだらけで触る機会はまったくありませんでした。 私が初めてDynamoDBを使ったのは2019年とかなり最近で、とあるサーバレスシステムのデータストアとして利用しました。 ※そこそこ良い成果を出せたシステムなので、この辺はおいおい記事にしたいと思っています。 当時は設定項目少なくてお手軽だなーとか、カラムが自由だなーとか軽い感想しかありませんでしたが、その後「要点整理から攻略する『A
[アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた | DevelopersIO
[アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた いわさです。 DynamoDB にはキャパシティモードの概念がありまして、あらかじめ予測したキャパシティを事前割り当てしておくプロビジョンドモードか、実際に発生したリクエストに応じて請求してくれて良いのでうまいことやってくれやというオンデマンドモードの 2 つがあります。 どちらも一長一短あるのですが後者のオンデマンドの場合は柔軟性がある一方で、ワークロードの負荷によってはコストが予測しずらかったり、あるいは DynamoDB のイベントに応じてサービス間を連携しているような場合にオンデマンドだと外部サービスに予測できない負荷が発生することがありえます。 そんなオンデマンドキャパシティモードですが、本日のアッ
【Security Hub修復手順】[DynamoDB.3] DynamoDB Accelerator (DAX) クラスターは、保管中に暗号化する必要があります | DevelopersIO
こんにちは、AWS事業本部の平井です。 皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [DynamoDB.3] DynamoDB Accelerator (DAX) クラスターは、保管中に暗号化する必要があります [DynamoDB.3] DynamoDB Accelerator (DAX) clusters should be encrypted at rest 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説
![【Security Hub修復手順】[DynamoDB.3] DynamoDB Accelerator (DAX) クラスターは、保管中に暗号化する必要があります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba983f76286d716c33249c5cd7c5d87259ff98a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-security-hub.png)
こんにちは、CX事業本部の夏目です。 AWS LambdaとServerless #1 Advent Calendar 2019 - Qiitaということで、今回はサーバーレスで軽く負荷分散みたいなのを実装してみようと思います。 やりたいこと ユーザーごとにS3にJSONファイルを置いている 同時実行数を1に制限したSQSトリガーのLambdaを使って、同じファイルに対して同時書き込みが起きないように制限している これをある程度並列で動かせるようにする 構成 同時実行数を1に制限したSQSトリガーのLambdaを複数用意して処理を分散させる 一つのキューから複数のLambdaが生えているのではない Lambdaとキューの組がいっぱい Lambdaの実態としてのコードは同じものを使用する 同じLambdaがいっぱい ユーザーのデータを書き込むのに直近でしようしたキューはDynamoDBに保存
Amazon DynamoDB Transactions を使用して複数のアイテムに調整された変更を加える | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB Transactions を使用して複数のアイテムに調整された変更を加える 近年、NoSQL データベースをリレーショナルデータベース管理システム (RDBMS) の制約から解放するソリューションと見なす組織が増えているため、NoSQL データベースの使用が大幅に増加しています。NoSQL データベースの柔軟性、俊敏性、およびパフォーマンスは、移行をトリガーする主な利点ですが、組織の重要な要件の一部によって RDBMS は同じままでした。 RDMBS は、最も広く知られ議論されている機能であるトランザクションサポートのために、重要なデータを操作する場合 NoSQL データベースよりも好まれます。 Amazon DynamoDB Transactions 使用する理由 多くのアプリケーションでは、1 つ以上の項目
DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
新しい DynamoDB Table Class – DynamoDB コストを最大 60% 削減 | Amazon Web Services
Amazon Web Services ブログ 新しい DynamoDB Table Class – DynamoDB コストを最大 60% 削減 2021 年 12 月1 日（米国時間）、Amazon DynamoDB Standard-Infrequent Access (DynamoDB 標準 – IA) を発表しました。既存の DynamoDB 標準テーブルと比較して、ストレージコストを 60% 削減し、同じパフォーマンス、耐久性、スケーリングを実現する DynamoDB 用の新しいテーブルクラスです。 現在、多くのお客様が、アクセス頻度の低いデータを DynamoDB と Amazon Simple Storage Service (Amazon S3) の間で移動しています。これは、お客様がデータを移行し、DynamoDB 用と Amazon S3 用の 2 つの異なる API
AWS AppSync + Amazon DynamoDB + React で簡易チャット WEB アプリをつくる
サービスID 単位でデータを取得するため、サービスID をパーティションキーにする。 書込日時でデータを並べ替えしたいが、完全な同時刻に複数のユーザが書き込みするとデータが一意にならなくなるため、書込日時に # 区切りでユーザ名を付加したものをソートキーにする。 日時データは ISO8601 フォーマットにした。JavaScript で扱いやすいため。 最低限必要なデータのみにしたため、シンプルでわかりやすいと思います。 AWS AppSync の設定 アプリからは以下 3 つのオペレーションを実行します。AWS AppSync は GraphQL という言語を使い、アプリ側では Query、Mutation、Subscription という 3 種類のクエリーが使用できます。AWS AppSync 側ではそれを受けるためのスキーマという設定が必要になります。 指定したサービスID のデー
DynamoDBにデータ投入 次に作ったテーブルへバラバラに何件かデータを投入します。今回は何らかのアンケートに回答があった想定で投入します。AWS CLIの dynamodb batch-write-item を使って複数件を何度か投入します。 sample.json { "RETOOL_SAMPLE": [ { "PutRequest": { "Item": { "id": { "S": "tenantA" }, "createdAt": { "N": "100" }, "date": { "S": "2010-03-01" }, "answer": { "S": "1" } } } }, { "PutRequest": { "Item": { "id": { "S": "tenantA" }, "createdAt": { "N": "101" }, "date": { "S": "
Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services
AWS Big Data Blog Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Amazon DynamoDB helps you capture high-velocity data such as clickstre
Monitoring Amazon DynamoDB for operational awareness | Amazon Web Services
AWS Database Blog Monitoring Amazon DynamoDB for operational awareness Amazon DynamoDB is a serverless database, and is responsible for the undifferentiated heavy lifting associated with operating and maintaining the infrastructure behind this distributed system. As a customer, you use APIs to capture operational data that you can use to monitor and operate your tables. This post describes a set o
[アップデート] より低コストにDR対策できるかも！？DynamoDB がテーブルバックアップの別リージョンへのリストアをサポートしました！ | DevelopersIO
先日のアップデートで、DynamoDB のテーブルバックアップを他のリージョンにリストアできるようになりました！ You can now restore Amazon DynamoDB table backups as new tables in other AWS Regions 何が嬉しいのか 従来、DynamoDB における DR および BCP 対策としてはグローバルテーブルを使うことで、マルチリージョン、マルチマスターのデータベースを構築することが可能でした。アクティブ/アクティブのような構成を希望される場合はグローバルテーブルで良いのですが、数時間のダウンタイムが許容でき、障害時のみ別リージョンを使えれば良い、というような要件においては少々贅沢な構成となっていました。(グローバルテーブルの場合、レプリカ数分の Write キャパシティユニット料金＋データ転送料金が必要となります
realtor.com® が Amazon S3 から Amazon DynamoDB へのデータのアップロードを最大化する方法 | Amazon Web Services ブログ
Amazon Web Services ブログ realtor.com® が Amazon S3 から Amazon DynamoDB へのデータのアップロードを最大化する方法 このお客様記事は、realtor.com® のデータテクノロジー担当 VP である Arup Ray 氏と AWS ソリューションアーキテクト Daniel Whitehead によるものです。Arup Ray 氏は Amazon のソフトウェア開発エンジニアである Anil Pillai に対し、以前 realtor.com® のシニアプリンシパルエンジニアを務めていたときの本プロジェクトに対する彼の先駆的な貢献について感謝の意を示したいと話しておられます。 Move, Inc. によって運営される realtor.com® は、それ自体の言葉を借りると、「住宅の買い手、売り手、そしてそれを夢見る人のための信
Amplify functionで簡単DynamoDB Stream & api Multi-Auth - Qiita
今回は、AWS Amplifyのfunctionカテゴリを指定して、DynamoDBの変更をトリガーに実行(DynamoDB Stream)するLambda関数を作ってみます。 DynamoDB Streamを使うとイベント駆動型のアーキテクチャを構築することができます。 例えば、テーブルに特定レコードが登録、削除された場合のみメールやSlackに通知する、なんてこともできます。 DynamoDB StreamとLambdaトリガーについての詳細は公式をご参照あれ。 せっかくなので、とあるテーブルにデータが登録されたらLambda関数が実行され、別テーブルにデータを登録する処理を実装してみたいと思います。データ登録はAppSyncを呼び出してみます。 事前準備 amplify cliのインストール
はじめに これは ドリコム Advent Calendar 2021 の24日目です。 23日目は AnD00 さんの プロジェクトの行動規範を作ってチームの理想を描いてゆく です。 弊社内ではユーザの主要なデータの保存先としてRDBが使われるケースが多く、NoSQLを中心としたシステムを開発した経験のあるエンジニアが限られています。しかし新たなシステムを開発するとき選択肢としてNoSQLを選べることは有用だと思われるので、NoSQLを選択したときどのような課題があるか調査し、対策を検討しておくことにしました。 大小様々な課題があることは想像できますが、本稿ではAmazon DynamoDBのスキーマ設計に焦点を当て、実際に設計して直面した課題と、その解決方法を紹介します。 対象読者 RDBを使ったアプリの開発／運用経験があり、DynamoDBを使ってみたい人 背景 冒頭の通り、社内ではR
まいど、大阪の市田です。 昨年2019年の10月に「AWS IoT CoreのルールでDynamoDBからデータを取得できる」機能が追加リリースされました。まだ試せていなかったので、今回はこちらを紹介したいと思います。 AWS IoT Core にルールの SQL を使用して DynamoDB からデータを取得する機能を追加 概要 従来からAWS IoT Coreのルールでは、「DynamoDBにデータを登録」することは可能でしたが、テーブルのデータを参照することはできませんでした。 そのため、「DynamoDBのデータと比較して条件に応じて何かアクションしたい」 場合は、簡単な処理でもLambdaを使う必要がありました。 今回紹介する機能により、簡単な処理であればLambdaを使う事無くマネージドサービスとして簡単にDynamoDBのデータを利用することができるようになりました。 やって
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBテーブルを少なくする設計方法 - Qiita
AWS、DynamoDBをSQLで操作可能に SQL互換のクエリ言語「PartiQL」対応を発表
チャットアプリの実例でDynamoDBのモデリングを考えてみる
初めての、LambdaとDynamoDBを使ったAPI開発 - Qiita
DynamoDB Streamsの改めて再検証してみた | DevelopersIO
Optimizing costs on DynamoDB tables - Amazon DynamoDB
DynamoDBを語ってみる - NRIネットコムBlog
SQSとDynamoDBを使ってサーバーレスな処理の負荷を分散させてみる | DevelopersIO
RetoolでDynamoDBのデータを積み上げ棒グラフにしてみた | DevelopersIO
DynamoDBをゲームアプリで使う際の課題と対策（前編） - Tech Inside Drecom
AWS IoT CoreのルールでDynamoDBのデータを取得してみる | DevelopersIO