DynamoDBのテーブルをscanするPythonコード - Qiita
概要 boto3(AWS SDK for Python)でDynamoDBをスキャンするコードです きちんとscanするために LastEvaluatedKey を使ってループする必要があります 自分用スニペットです def get_records(table, **kwargs): while True: response = table.scan(**kwargs) for item in response['Items']: yield item if 'LastEvaluatedKey' not in response: break kwargs.update(ExclusiveStartKey=response['LastEvaluatedKey'])
Step FunctionsでDynamoDBのエクスポート機能を活用して、Athenaでクエリする環境作成を自動化してみた | DevelopersIO
無事に内容を取得できました。 実装 CDK CDKのバージョンは、1.101.0を利用します。全体的に権限が緩めなので、動作確認が出来たら絞ることを推奨します。 Athena,S3,Step Functions,Lambda,Glue TableのCDK定義 cdk from '@aws-cdk/core'; import * as s3 from '@aws-cdk/aws-s3'; import * as lambda from '@aws-cdk/aws-lambda'; import * as iam from '@aws-cdk/aws-iam'; import * as events from '@aws-cdk/aws-events'; import * as eventsTargets from '@aws-cdk/aws-events-targets'; import *
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
DynamoDBで継続的バックアップとポイントインタイムリカバリーが可能になりました | DevelopersIO
はじめに AWSチームのすずきです。 2017年11月のAmazon DynamoDB Backup and Restoreの発表時に予告されていた、 継続的な自動バックアップと、任意の日時(過去35日)を指定したポイントインタイムリカバリー(PITR)がリリースされました。 AWS東京リージョンでも、バックアップ、リストアと、ポイントインタイムリカバリーが利用できる事が確認できましたので紹介させて頂きます。 AWS が Amazon DynamoDB Backup and Restore をリリース New – Amazon DynamoDB Continuous Backups and Point-In-Time Recovery (PITR) 設定 DynamoDBダッシュボードで任意のテーブルを指定、「バックアップ」のタブを開きます。 ポイントインタイムリカバリーの「有効化」します
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
Build a Python REST API with Serverless, Lambda, and DynamoDB
Build a Python REST API with Serverless, Lambda, and DynamoDB Your existing web framework tooling can work seamlessly with the Serverless Framework. Let’s go over how to use the Python web framework Flask to deploy a Serverless REST API. In this walk-through, we will: Deploy a simple API endpoint Add a DynamoDB table and two endpoints to create and retrieve a User object Set up path-specific routi
Serverless Frameworkの開発でDynamoDB Localを使う | tech-broccoli.life
ローカル環境でDynamoDBを動かす環境を整える DynamoDBをローカル環境で動かすための「DynamoDB Local」をAWSが用意してくれています DynamoDB ローカル (ダウンロード可能バージョン) のセットアップ - Amazon DynamoDB Serverless FrameworkのDynamoDB Localを使うためのパッケージを追加 手順が少しややこしいです。 Serverless FrameworkでDynamoDB Localを使うパッケージを追加 そのパッケージを使いDynamoDB Localをインストール の順で実行します。 DynamoDB Localを先にインストールするのかな、と思ったら違うのですね。 そのためまず、Serverless FrameworkでDynamoDB Localを使うパッケージを追加
PynamoDBで良い感じにTestableなモデルを定義して、DynamoDB Localを使ってテストする方法 - JX通信社エンジニアブログ
TL; DR; PynamoDBを使ったテストでローカルで動かすDynamoDBを叩きたい場合に テーブルのキー定義やキャパシティ設定の管理はterraform/CDKなどに任せつつ、アプリケーションコードを汚さずにテストを実行したい そんなときは getattr でmetaclassを取り出して setattr でテスト用の設定値を注入してあげましょう サンプルコードはこちら github.com もうちょっと詳しく 背景 PythonでDynamoDBを使った開発していればPynamoDBはとても便利なライブラリです。非常に書きやすいAPIでDynamoDBを読み書きできますし、手軽にテーブル自体もPynamoDBで作成することも可能です。 *1 しかしPynamoDBでテーブルを作成・管理してしまうと if table.exists() みたいな条件を書いて毎回判断させたり、キャパシ
コンセプトから学ぶAmazon DynamoDB【LSI篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はローカル・セカンダリ・インデックス（LSI）について深堀りしてみましょう。 ここまでの復習 その前に、色々復習しておきましょう。 DynamoDBのインデックス3種類 まず、DynamoDBが持てるインデックス3種類をあらためてまとめておきます。 暗黙的な、キー（ハッシュキーのみ、または、ハッシュキー＋レンジキー）による検索のためのインデックス 明示的に定義した、ローカル・セカンダリ・インデックス（LSI） 明示的に定義した、グローバル・セカンダリ・インデックス（GSI） このうち、暗黙的なインデックスは1テーブルにつき1つだけ、LSI及びGSIは1テーブルにつき各5個まで定義できます。つまり、1つのテーブルには最小で1個、最大で11個のインデックスがあります。検索を行う場合は、まず「どのインデックスを使って検索をするか」を指定し、その上で検索条
DynamoDBのテーブル設計に最適！NoSQL WorkbenchのData modelerで今度こそDynamoDBを使いこなす！ | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はAWSが提供しているDynamoDB用のアプリ「NoSQL Workbench」の機能を使ってデータモデリングする流れを解説します。 最近案件でテーブル設計を再検討する必要がありNoSQL Workbenchを使ったところ、サンプルデータを入れながら設計が正しいか検証でき非常に便利だったので紹介します。 他の記事でもアプリの紹介はありますが本記事ではデータモデリングに絞って解説を行います。題材として多対多のデータをモデリングしながら設計する方法を紹介します。 本記事を読めば今までDynamoDBのデータ設計に悩んでいた方の検討時間をかなり減らすことができます。自分ももっと早く「NoSQL WorkbenchのData modeler はこう使って欲しい！」という記事があれば良かったなあと思ったので記事にしました。 NoSQL Workbench
DynamoDBのテーブルを1つだけにする設計のコツ（汎用的手法編） - @mizumotokのブログ
DynamoDBではテーブルを１つだけにすることが推奨されています。前回の投稿ではDynamoDBのテーブルを1つだけにする設計のコツを具体例を元に考えてみました。今回はどんな場合にでも通用するような汎用的な手法を考えてみます。 mizumotok.hatenablog.jp エンティティにIDを追加 隣接関係のリスト設計パターン クエリの洗い出し グローバルセカンダリインデックスの多重定義 残りの項目 テーブル１つにする設計の汎用的手法 まとめ エンティティにIDを追加 エンティティにはユニークなIDを持たせるのが普通です。 前回の例にIDを持たせたデータは以下のようになります。 Artistテーブル ID ArtistName CarrerStart 1 David Bowie 1962 2 Bryan Adams 1975 3 Steely Dan 1972 Songテーブル ID
DynamoDBのテーブルを1つだけにする設計のコツ（考え方編） - @mizumotokのブログ
DynamoDBは高速でスケーラブルでとても便利なデータベースです。便利なのですが、テーブル設計にはRDBMSのノウハウをそのまま使えません。例えば、DynamoDBではテーブルを１つだけにすることが推奨されています。テーブルを１つだけにする設計手法について考えてみましょう。 DynamoDBの特長 できるだけ少ないテーブル数で 1つのテーブルでの設計例 データの収集 クエリの洗い出し １つのテーブルにする クエリーにあわせてセカンダリーインデックス 設計を汎用的に まとめ DynamoDBの特長 DynamoDBはAWS（アマゾンウェブサービス）で提供される、とても便利なNoSQL データベースサービスです。高速なパフォーマンスとシームレスなスケーラビリティが特長です。 RDBMSではディスク容量が足りなくなったりしたら、基本的にはディスクを増やす等の「スケールアップ（リソースを一箇所に
Serverless FrameworkでAPIGateway・Lambda・DynamoDBを構築する
Serverless FrameworkはAWS LambdaやAmazon APIGatewayなどを利用したサーバーレスなアプリケーションを構築や管理・デプロイするためのツールです。 今回はServerless Frameworkを用いてAPIGateway・Lambda・DynamoDBを構築し管理・デプロイします。 上記の3つのサービスを構築できれば、簡単なRESTAPIを作成することができます。 Serverless Frameworkを用いたLambdaの構築・デプロイは以下の記事で紹介しています。 今回はServerless Frameworkを用いたLambdaの構築とデプロイが完了している前提で進めていきます。 Serverless FrameworkでAWS Lambdaをデプロイ APIGatewayの構築 Serverless FrameworkではLambda関数
How to format a JSON string as a table using jq?
Just started out with Bash scripting and stumbled upon jq to work with JSON. I need to transform a JSON string like below to a table for output in the terminal. [{ "name": "George", "id": 12, "email": "george@domain.example" }, { "name": "Jack", "id": 18, "email": "jack@domain.example" }, { "name": "Joe", "id": 19, "email": "joe@domain.example" }] What I want to display in the terminal: ID Name ==
PartiQL が DynamoDB に対応したので AWS CLI を使って DynamoDB テーブルに SQL 文を実行してみる - michimani.net
re:Invent 前の怒涛のアップデートが続く中で、 PartiQL が Amazon DynamoDB に対応したというアップデートが発表されました。これによって、 DynamoDB のテーブルに対して SQL 文を実行することができます。今回は、 AWS CLI 経由で DynamoDB のテーブルに対して SQL 文を実行してみます。 目次 概要 PartiQL とは AWS CLI で試す v2 は未対応 execute-statement コマンド SELECT 文 INSERT 文 まとめ 概要 PartiQL が Amazon DynamoDB に対応し、DynamoDB のテーブルに対して SQL 文を実行できるようになりました。 PartiQL - A SQL-Compatible Query Language for Amazon DynamoDB - Amazon
チュートリアル: デバイスデータの DynamoDB テーブルへの保存 - AWS IoT Core
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: デバイスデータの DynamoDB テーブルへの保存 このチュートリアルでは、メッセージデータを DynamoDB テーブルに送信する AWS IoT ルールを作成する方法を示します。 このチュートリアルでは、架空の気象センサーデバイスから DynamoDB テーブルにメッセージデータを送信するルールを作成します。このルールは、多くの気象センサーからのデータをフォーマットして、単一のデータベーステーブルに追加できるようにします。 このチュートリアルで学習する内容 DynamoDB テーブルの作成方法 AWS IoT ルールから DynamoDB テーブルにメッセージデータを送信する方法 AWS IoT ルールで置換テンプレートを使用する方法 ルール
【AWS IoTルールの基本 その4】メッセージをDynamoDBに保存する①
「DynamoDB アクション」と「DynamoDBv2 アクション」では、許容するメッセージ形式やDynamoDBへの保存形式が異なるため、環境、構成に合わせてアクションを選択する必要があります。 今回は、メッセージを1つのカラムに保存する「DynamoDB アクション」を使ってDyanmoDBにメッセージを保存してみます。 今回の構成 AWS IoTのトピック「test/pub」にPublishされたメッセージを、DynamoDBのテーブル「IoT_Device_Data」に保存します。 DynamoDB アクションでは、JSON、文字列のいずれのメッセージにも対応できるため、メッセージとしてJSONまたはCSVをPublishした場合の挙動を確認します メッセージソースの設定 メッセージソースには以下のAWS IoT SQLクエリでメッセージをパススルーで出力するように設定します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deleting Content in DynamoDB from the CLI
GitHub - techgaun/dynamodb-copy-table: A simple python script to copy dynamodb table (useful for achieving renaming of table)
