DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
Today, AWS introduced NoSQL Workbench for Amazon DynamoDB to help developers build scalable, high-performance data models and to simplify query development and testing. NoSQL Workbench is a free, client-side application available for Windows and macOS. DynamoDB is a fully managed NoSQL database service that provides fast and predictable performance with seamless scalability. Designing scalable, fl
DynamoDB の Scan でテーブルのデータを漏れなく取得する為のメモ - ようへいの日々精進XP
これは これはやらかしの記録である 結果セットに 1MB 制限がある 実装例 環境 ダメなやつ 1MB 以上の結果を取得するやつ 1MB 以上の結果を取得するやつ(2) ということで 教訓 自分を殴りたい これは qiita.com 初老丸 Advent Calendar 2017 6 日目の記事になる予定です. これはやらかしの記録である 一年前に作った DynamoDB テーブルの Scan した結果を解析処理して REST API で返すだけのシンプルなシステム. ところが, 最近になって返却する値がとても不安定（意図した結果が返ってくる時と返ってこない時がある）になってしまい調査したところ... Scan した結果に全てのレコードが含まれていないことを確認... 勢いでドキュメントを読むと... 結果セットに 1MB 制限がある docs.aws.amazon.com Dynamo
サーバーレス失敗談 - DynamoDB編 / Serverless Fails
Serverless Meetup Tokyo #11 での発表で使用したスライドです。 外部リンク: Serverless Meetup Tokyo #11 https://serverless.connpass.com/event/119559/ HiCustomer https://hicustomer.jp ServerlessなサービスのBlue/Greenデプロイメントの現実 | HiCustomer Tech Blog https://tech.hicustomer.jp/posts/blue-green-deployment-in-serverless/ サーバーレス失敗談 - テーブル設計編 | HiCustomer Tech Blog https://tech.hicustomer.jp/posts/serverless-fails/
New – Amazon DynamoDB Transactions | Amazon Web Services
AWS News Blog New – Amazon DynamoDB Transactions March 13, 2020: Post updated to clarify how to use transactions with global tables and the increase in the maximum number of items per transaction from 10 to 25. Over the years, customers have used Amazon DynamoDB for lots of different use cases, from building microservices and mobile backends to implementing gaming and Internet of Things (IoT) solu
サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド
DynamoDBのインフラコスト構造と削減策 - ゆううきブログ
Amazon DynamoDBは、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの中でも、フルマネージドサービスと呼ばれる位置づけとなるサービスだ。 フルマネージドサービスは、ElastiCacheのようなそうでないものと比較し、AWSに最適化されていて、サービスとしてよくできていると感じている。 Mackerelの時系列データベースのスタックの一つとして、DynamoDBを採用している。 時系列データベースの開発は、コストとの戦いだったために、それなりにコスト知見が蓄積してきた。(時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ) (※ 以下は、2018
ログイン・ログアウト機能をサーバレスアーキテクチャで実装する - Qiita
※実運用では、登録日などの項目も持たせて、セッションタイムアウト時間も設けたほうが良いです。 Lambdaファンクション ログイン処理 入力値として、emailとパスワードを受け取ります。 ログインに成功すればセッションIDを返します。webシステムで使う場合はこのセッションIDをcookieに保存して引き回してあげましょう var aws = require("aws-sdk"); var doc = require('dynamodb-doc'); var crypto = require('crypto'); var dynamo = new doc.DynamoDB(); exports.handler = function(event, context) { if ( typeof event.email === 'undefined' || typeof event.passw
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Serverlessを極めるためにDynamoDBデータモデリングを極めよう / Let’s become the master of DynamoDB Data Modeling to become the master of Serverless - Speaker Deck
Auth0+DynamoDBでユーザ認証基盤を作る - Qiita