You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - awslabs/dynein: DynamoDB CLI written in Rust.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
データベースドキュメント生成コマンド tbls 更新情報 ( PostgreSQL publicスキーマ表示仕様変更/Amazon DynamoDB対応/goccy ware etc) - Copy/Cut/Paste/Hatena
ここ最近tblsのアップデートエントリを書いていなかったのですが、最近変更をいくつか行いました。 このまま放置するとちょっと紹介しきれなくなりそうなので、ここら辺で放出しておこうと思います。 紹介時点のtblsのバージョンはv1.29.0です。 PostgreSQLでの public. スキーマ表示仕様変更 tblsでは、もともとPostgreSQLの public. スキーマ（ schema_name.table_name.column_name の schema_name ）だけ特別に非表示にしていました。 こうなっていた理由は、私がPostgreSQLでのスキーマを意識した運用経験がなかったことに寄る部分が大きいです。「デフォルトだから非表示で良いだろう」と。 ところで、tblsにはlintの機能があります。「テーブルカラムにコメントが書かれているか？」とか「外部キーの参照元にIND
AWS IoTとLambdaとDynamoDBでオフィス環境を可視化してみた - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川(@ug23_)です。 10月中旬に、スマートキャンプのエンジニアチームで開発合宿にいってきました。合宿のテーマは、スマートキャンプのミッションテクノロジーで社会の非効率を無くすになぞらえて、テクノロジーでSMARTCAMPの非効率を無くすでした。合宿を楽しんでいるメンバーの様子は来週のブログでお届けする予定なので、このエントリでは作ったものについて触れます。 解決する課題 できたもの - bony システム構成 オフィスのヒートマップ AWS IoT Coreを使ってみて ふりかえり さいごに 解決する課題 合宿のチーム分けが決まり、合宿のためのプロダクトを検討し始めた頃、我々はちょうどオフィス移転から2ヶ月後ぐらいの真夏の時期でした。チームで社内の課題を出し合ったところ、オフィス移転してから風邪引いてるひと増えたかも、空調が効き過ぎていて寒いって言ってる
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
トランザクションを使用した Amazon DynamoDB の一意制約のシミュレーション | Amazon Web Services
Amazon Web Services ブログ トランザクションを使用した Amazon DynamoDB の一意制約のシミュレーション 大抵のリレーショナルデータベースシステム、そして一部の非リレーショナルデータベースシステムには、ユニークキーまたはユニーク制約として知られるコンストラクトがあります。この機能は、列またはフィールド内のすべての値が行全体で一意であることを確実にします。 たとえば、User テーブルがあるとします。それには、各ユーザーを一意に識別するプライマリキーとして UUID があるかもしれませんが、同じくユーザーにとって一意である必要があるユーザー名フィールドと E メールフィールド (DynamoDB 用語では「属性」) もあるかもしれません。このユースケースは、DynamoDB トランザクションに関する AWS Summit 2018 DAT374 セッションで言
[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートにより、PartiQLを利用したDynamoDBのCRUD操作が可能になりました これまでDynamoDBのテーブルデータを操作するにはGetItemやPutItemといった独自の操作を利用する必要がありましたが、今後はPartiQLを利用した操作方法を選択することも可能になりました。PartiQLはSQL互換のクエリ言語なので、RDBの利用経験がある人が新たにDynamoDBに挑戦する際のハードルが下がったのでは無いでしょうか？ PartiQLを利用したDynamoDBのオペレーションにおいても、GetItemやPutItemといった従来のオペレーションと同等の可用性、レイテンシー、パフォーマンスが提供されるとのことで、PartiQLを利用したからパフォーマンスが上がる/下がるといったことは無いようです。純粋に利用者側
![[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
DynamoDBで分散ロックを実現するsetddblockと現代版アクセスカウンター - KAYAC engineers' blog
こんにちは。今年からアナリティクスエンジニアを名乗ろうとしてる池田です。 こちらは、KAYAC Advent Calendar 2021 1日目の記事です。 この記事では、setddblockという分散ロックを実現するためのツールと、その動作試験のために現代版アクセスカウンターを作成した話をします。 setddblock 皆様がcronなどで定期実行のスクリプトを実行する場合、同時実行されては困るものはどうしていたでしょうか？ daemontoolsのsetlock というツールを使って同時実行を防いでいたことがある方も多いと思います。 http://cr.yp.to/daemontools/setlock.html このsetlock はローカルのファイルシステム上にロックファイルを作成し、ロックファイルの作成が成功したら指定されたコマンドを実行するというツールです。 例えば1分ごとに起
AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlog
小西秀和です。 Amazon Aurora、Amazon Neptune、Amazon EMR、Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon OpenSearch Serviceなどのインスタンスで構成されたクラスターで処理を実行するAWSサービスでは、従来、リクエストを処理するために待ち受けているインスタンスの起動時間とインスタンスサイズに応じて料金が発生する課金体系でした。 近年ではこうしたクラスター型のAWSサービスの一部にリクエストやトラフィック処理に使用した時間やリソース量の分だけ料金が発生する課金体系が「～Serverless」のような名称で追加されてきています。 例えば前述したAWSサービスにはAmazon Aurora Serverless(v1, v2)、Amazo
DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
RailsアプリケーションのCIにDynamoDB Localを導入した話 - クックパッド開発者ブログ
こんにちは、事業開発部 サーバーサイドエンジニアの堀江(kentarohorie)です。 今回はRailsアプリケーションのCIにDynamoDB Localを導入した事例をご紹介します。 広告入稿システムとCI クックパッドでは自社製の広告入稿システム・配信サーバーを運用しています。また広告の一部はDynamoDBを利用したアーキテクチャで入稿・配信されています。詳細は以前の記事「広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介」で紹介されています。この入稿・配信のうち、広告入稿システムのCIに対してDynamoDB Localの導入を行いました。 広告入稿システムのCIではブランチへのpush、またはmasterへの変更をトリガーにCIサーバー上でスクリプトが実行されていました。CIサーバーにはMySQLやPostgreSQLの環境が用意さ
Amazon DynamoDB に負荷をかけ、検証する方法をご紹介 | AWS - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは、Game Solutions Architect の邵 (@axot) です。 以前 AWS ブログの Amazon DynamoDB スケーリングのベストプラクティス という記事で DynamoDB 運用する際のポイントを紹介しました。 本記事では、DynamoDB に負荷をかける方法をご紹介します。さらに、それを応用してスパイクおよび不均等なアクセスパターンについてのテストおよび解説もご紹介します。最後まで是非ご覧ください ! まず、今回のテストのための DynamoDB テーブルを作成します。 ベンチマークではなく、負荷の掛け方や性質を確認が目的なので、ReadCapacityUnits(RCU)、WriteCapacityUnits(WCU) とも最小限に 1 に設定しています。 また、ソートキー については本日のテストで利用しないため、プライマリキーのみを作成し
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
DynamoDB Stream を利用してDynamoDBとElasticsearchのデータ連携をやってみた | DevelopersIO
こんにちは！コンサルティング部のキムです。 以前から外国で仕事をしたいなーと思ってましたが、言語が違うことの難しさを感じてます。もっと頑張っていきたいと思います！:) ここ数年、DynamoDBに興味があったのですが、DynamoDB Streamは全く触ったことがありませんでした。AppSyncでよく使われるパターンでもあるので、良い機会だと思ってDynamoDB Stream → ElasticSearch のデータ連携の構成をやってみました。 ElasticsearchのIndexingは1秒ほど掛かるためリアルタイムで連携されるのではありませんが、普通のユーズケースには大丈夫と思います。DynamoDBがメインDBになった場合でも、検索機能の限界の為、GSIやLSI等で頑張らなくて済む良いパターンだと思います。 それでは、始めます！ 目次 DynamoDB Streamとは Dyn
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
DynamoDBには以下の単語が登場します。 パーティションキー ソートキー プライマリキー ローカルセカンダリインデックス グローバルセカンダリインデックス これらのキー・インデックスについて改めて整理してみました。 まず「パーティション」「データの読み書きを行うAPIの種類」について整理します。その後、キーの種類について整理します。 パーティション DynamoDBのデータは複数のパーティションに分散して保存されます。このときデータがどのパーティションに保存されるかは パーティションキー を元に決定されます。 また ソートキー が設定されている場合、データはパーティション内でソートキーを元に並べ替えられて物理的に近くに配置されます。 例として、AnimalType（パーティションキー）とName（ソートキー）で構成されるPetsテーブルのデータは以下のように分散して保存されます。 （図
Amazon DynamoDB now supports bulk imports from Amazon S3 to new DynamoDB tables
Amazon DynamoDB now makes it easier for you to migrate and load data into new DynamoDB tables by supporting bulk data imports from Amazon S3. Now, you can import data directly into new tables to help you migrate data from other systems, load test data to help you build new applications, facilitate data sharing between tables and accounts, and simplify your disaster recovery and business continuity
AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） | DevelopersIO
今まで記載してきた様々な検証については、 3 名でそれぞれ役割を分担して行ってきました。当日の作業実施もお願いしています。 移行作業のスケジュールについて 移行作業のスケジュールは、以下の要領で確定させました。 まずは我々の方で、遅延、リトライが見込まれる作業のバッファを積んだ上で暫定スケジュールを作成 顧客と調整し、完全システムオープンの時刻から、各連携システムの検証時間を引いて転送完了デッドラインの時刻を逆算 転送完了デッドラインの時刻に確実に終わるように、作業開始時刻を逆算 転送作業スケジュールにはバッファを積んでいるため、最悪のケースの作業時間で計画しています 作業開始時刻にすぐ作業が始められるよう、影響がない範囲で事前に準備できる作業をいれる 今回は、完全システムオープン時にはすべての連携システムが正しく動いてることを保証していなければなりません。そのため、最悪ここまでに転送が完
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
Today, AWS introduced NoSQL Workbench for Amazon DynamoDB to help developers build scalable, high-performance data models and to simplify query development and testing. NoSQL Workbench is a free, client-side application available for Windows and macOS. DynamoDB is a fully managed NoSQL database service that provides fast and predictable performance with seamless scalability. Designing scalable, fl
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service Mostafa Elhemali, Niall Gallagher, Nicholas Gordon, Joseph Idziorek, Richard Krog, Colin Lazier, Erben Mo, Akhilesh Mritunjai, Somu Perianayagam ,Tim Rath, Swami Sivasubramanian, James Christopher Sorenson III, Sroaj Sosothikul, Doug Terry, Akshat Vig, Amazon Web Services Amazon DynamoDB is a NoSQL cloud
こんにちは。開発部の高橋です。 本記事はdely #1 Advent Calendarの11日目の記事です。 adventar.org dely #2もあるのでこちらもどうぞ。 adventar.org 昨日はうっくんさんの「UIデザイナーがSwiftを学んでUIを実装したら生産性が爆上がりした」でした。 note.com 先月末、DynamoDBがSQL互換言語であるPartiQLに対応しました。 aws.amazon.com PartiQLとはSQL互換のクエリ言語で、PartiQLから出力される中間表現を各サービスが対応することによって様々なサービスがSQLライクに操作できるようになります。 aws.amazon.com 今回の対応で、DynamoDBのGetItemやPutItemといった操作をSQLライクに実行できるようになりました。 また、それに合わせてRubySDKの方でも早
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
AWS Lambda Supports Parallelization Factor for Kinesis and DynamoDB Event Sources
AWS Lambda now supports Parallelization Factor, a feature that allows you to process one shard of a Kinesis or DynamoDB data stream with more than one Lambda invocation simultaneously. This new feature allows you to build more agile stream processing applications on volatile data traffic. By default, Lambda invokes a function with one batch of data records from one shard at a time. For a single ev
AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します | Amazon Web Services
Amazon Web Services ブログ AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します AWS AppSyncはGraphQLのマネージドサービスで、単一または複数のデータソースのデータに安全にアクセスしたり、操作したり、結合するための柔軟なAPIを作成でき、アプリケーション開発をシンプルにすることができます。多くの場合、異なったデータソースは異なったユースケースに合わせて最適化され、データが配信されるスピードも異なっていることでしょう。その基になるGraphQLスキーマで定義されているデータフィールドもかなり多様です。 たとえば、eコマースアプリケーションでは、在庫量を表すデータフィールドは頻繁に更新されますが、顧客プロフィールの更新は時々です。トランザクションIDに
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の21日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。本日のテーマは『Amazon DynamoDB』です。 目次 Amazon DynamoDBとは サービス名にDBとある通りデータベースです。2012年1月にローンチされた
VPC LambdaからVPCエンドポイント経由でDynamoDBにアクセスしてみた | DevelopersIO
サーバーレス開発部改め、CX事業本部の佐藤です。 概要 VPC LambdaからDynamoDBにアクセスするユースケースがあったため、実際にやってみました。 VPCにあるRDSなどにアクセスする際は、VPC Lambdaにする必要があります。VPC Lambdaにした場合はLambdaのインターネットアクセスが失われるため、VPC以外のAWSリソースにはアクセスできません（DynamoDBなど）。VPC Lambdaがインターネットにアクセスする際は、AWSの制約でLambdaをプライベートサブネットに配置し、パブリックサブネットにNAT ゲートウェイを配置する必要があります。 https://aws.amazon.com/jp/premiumsupport/knowledge-center/internet-access-lambda-function/ 以前は、VPC Lambdaか
AWSアカウント間のDynamoDBデータ移行計画の記録（事象の回避とまとめ） | DevelopersIO
はじめに 随分間が空いてしまいました。 想定外の事象の原因についてとその回避策、そしてまとめ。これで最後です。 前回まで 3 回にわたって手法の検証、計画の作成、実施について記載しました。 AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） 今回は、実施時に発生した事象についての原因の説明と回避について記載します。 発生した事象について おさらいになります。前回発生した事象から。 取り込みの Producer 及び転送用の Worker が想定以上に働いておらず、転送対象のテーブルの Write Capacity Unit が想定の 1/5 程度で頭打ちになってしまってい
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
Amazon Aurora, Redshift, DynamoDBのワークロード別性能を比較する - Qiita
はじめに AWSが提供する代表的なDBサービスには、クラウド前提で設計されたRDBのAmazon Aurora、 データ分析特化型RDBのAmazon Redshift、ワイドカラム型DB(NoSQL)のAmazon DynamoDB1があります。AWSの各DBサービスの使い分けについては、一般的には概ね業務系システムのDBにはAuroraやDynamoDB、分析系システムのDBにはRedshiftを利用すれば良いとされていますが2、その根拠について定量的に確かめてみたいと思ったので、実際にOLTP/OLAPワークロード別の負荷をかけて各DBサービスの性能特性の違いについて確認してみました。 ※実際のシステム性能は様々な条件により変動します。あくまでも参考情報の一つとして捉えていただきますようお願いします。 前提知識 まず前提となる考え方として、OLTP/OLAPワークロードについて概説し
Single-table vs. multi-table design in Amazon DynamoDB | Amazon Web Services
AWS Database Blog Single-table vs. multi-table design in Amazon DynamoDB This is a guest post by Alex DeBrie, an AWS Hero. For people learning about Amazon DynamoDB, the idea of single-table design is one of the most mind-bending concepts out there. Rather than the relational notion of having a table per entity, DynamoDB tables often include multiple different entities in a single table. You can r
楽観的排他制御（楽観的ロック）とは、同時アクセスによるデータの不整合を防ぐ排他制御（ロック）の手段です。バージョン番号や更新日時を利用して、データを取得してから更新するまでの間、データが変更されていないことを確認することで整合性を保ちます。対照に悲観的排他制御（悲観的ロック）では、データを取得する際にロックをかけることで整合性を保ちます。 DynamoDBでは楽観的排他制御を実装できます。また、DynamoDBのトランザクションでは楽観的排他制御が採用されています。 DynamoDBで楽観的排他制御 AWS LambdaでDynamoDBのデータを更新する際に、条件付き書き込みを使用してバージョン番号で楽観的排他制御を実装してみます。 DynamoDBに商品テーブルProductを作成して次のデータを格納しておきます。 productName(PK) stock version Lambd
DynamoDBのテーブルを1つだけにする設計のコツ（汎用的手法編） - @mizumotokのブログ
DynamoDBではテーブルを１つだけにすることが推奨されています。前回の投稿ではDynamoDBのテーブルを1つだけにする設計のコツを具体例を元に考えてみました。今回はどんな場合にでも通用するような汎用的な手法を考えてみます。 mizumotok.hatenablog.jp エンティティにIDを追加 隣接関係のリスト設計パターン クエリの洗い出し グローバルセカンダリインデックスの多重定義 残りの項目 テーブル１つにする設計の汎用的手法 まとめ エンティティにIDを追加 エンティティにはユニークなIDを持たせるのが普通です。 前回の例にIDを持たせたデータは以下のようになります。 Artistテーブル ID ArtistName CarrerStart 1 David Bowie 1962 2 Bryan Adams 1975 3 Steely Dan 1972 Songテーブル ID
Golang(aws-sdk-go)でDynamoDBを操作するための基礎知識 - シー・エス・エス イノベーションラボ（ブログ）
皆さん、初めまして。資産運用システム課の藤田です。 私はこのたび社内のスキルチェンジプロジェクトに配属され、今まで触れてこなかった技術を学ぶ楽しさを知りました。 スキルチェンジプロジェクトとは、AWSおよび開発技術習得を目的とし、このプロジェクトに参加した経験を活かして、新しい知識・技術を効率的にインプット及びアウトプットできることを目標としています。 スキルチェンジプロジェクトについて詳しく説明した記事はこちら👇 blog.css-net.co.jp この場をお借りして、自力でGo言語とAWSサービスのDynamoDBについて理解できたことをアウトプットさせていただきます。概要としては、DynamoDBの基礎知識を紹介し、DynamoDBを実際にGo言語(aws-sdk-go)で操作した内容をお伝えします。 １．DynamoDBについて ２．DynamoDBで使われる用語 ３．セカンダ
DynamoDBのテーブルを1つだけにする設計のコツ（考え方編） - @mizumotokのブログ
DynamoDBは高速でスケーラブルでとても便利なデータベースです。便利なのですが、テーブル設計にはRDBMSのノウハウをそのまま使えません。例えば、DynamoDBではテーブルを１つだけにすることが推奨されています。テーブルを１つだけにする設計手法について考えてみましょう。 DynamoDBの特長 できるだけ少ないテーブル数で 1つのテーブルでの設計例 データの収集 クエリの洗い出し １つのテーブルにする クエリーにあわせてセカンダリーインデックス 設計を汎用的に まとめ DynamoDBの特長 DynamoDBはAWS（アマゾンウェブサービス）で提供される、とても便利なNoSQL データベースサービスです。高速なパフォーマンスとシームレスなスケーラビリティが特長です。 RDBMSではディスク容量が足りなくなったりしたら、基本的にはディスクを増やす等の「スケールアップ（リソースを一箇所に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBのキー・インデックスについてまとめてみた - Qiita
Amazon’s DynamoDB — 10 years later
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
DynamoDBでサポートされたPartiQLをRubySDKで利用する - dely Tech Blog
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
AWS再入門ブログリレー DynamoDB編 | DevelopersIO
AWS DynamoDBで楽観的排他制御（楽観的ロック）をやってみた | DevelopersIO