DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
【アップデート】DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました！！ | DevelopersIO
CX事業本部@大阪の岩田です。2020/5/18付けのアップデートにより、DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました。 簡単ですが、このアップデートについてご紹介します。 何が変わったの？ これまでDynamoDBでは文字列型およびバイナリ型の項目に空文字列を登録することができませんでした。 例えばBoto3を使って以下のようなデータを登録しようとすると、、、 { "id":1 , "attr1": "" } 以下のようなエラーが発生して登録することができませんでした。 One or more parameter values were invalid: An AttributeValue may not contain an empty string そのため、アプリケーションから空文字列を扱いたい場合は一旦空文字列をNULLに変換してからDynam
広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介 - クックパッド開発者ブログ
メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。 マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。 今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。 背景 従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと
AIやマイクロサービスを活用したDynamoDB節約術
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Amazon DynamoDB のアダプティブキャパシティーは、頻繁にアクセスされるアイテムを自動的に分離することで、アンバランスなワークロードをより適切に処理が可能に
Amazon DynamoDB のアダプティブキャパシティーは、頻繁にアクセスされるアイテムを自動的に分離することで、アンバランスなワークロードをより適切に処理するようになりました。お使いのアプリケーションが 1 アイテム以上に偏った高いトラフィックを送る場合は、頻繁にアクセスされるアイテムが同一パーティション内に存在しないように、DynamoDB がパーティションのバランスを再調整します。この最新の機能強化で、ワークロードにおいて妨げられることのないパフォーマンスを維持できます。また、スループットをより効率的にプロビジョンできるため、コスト削減効果が得られます。不均等なデータアクセスパターンへの対応のためにオーバープロビジョニングなることはありません。 アダプティブキャパシティーはデフォルトで有効になっているため、追加料金なしですべての DynamoDB テーブルおよびグローバルセカンダ
Amazon DynamoDB グローバルセカンダリインデックスを設計する方法 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB グローバルセカンダリインデックスを設計する方法 大学時代、私はリレーショナルデータベースのシステム要件をモデル化するために、エンティティ関係図を作成しました。このプロセスでは、ソフトウェアシステムのすべてのエンティティを検索し、それらのエンティティ間の関係を定義しました。次に、データベースがどのクエリをサポートする必要があるかを判断する前に、関係とエンティティをデータベーステーブルにモデル化しました。データベーススキーマを設計するこの方法は、スケーラビリティとより一貫したパフォーマンスを利用するために非リレーショナルデータベースを使い始めるまではうまく機能しました。 非リレーショナルデータベースでは、スキーマ設計のアプローチは逆になります。データベーススキーマを設計する前に、アプリケーションが必要とするクエリを
Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。 | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。 少し前まで、あなたのビジネスに合わせていつでもスケールし安定した低いレイテンシを提供するデータベースを作成することは困難でした。2012年にWerner VogelsがpostしたブログでAmazon DynamoDBがアナウンスされました。（これは私がAWSに入る数ヶ月前の事でした。）DynamoDBは2007年にAmazonが公表したDynamoの論文に基づいて設計されています。それから数年、多くの新機能がAWSの顧客が利用するデータベースを更に簡略化するために導入されました。今、フルマネージドかつマルチリージョン、マルチマスターデータベースとencryption at rest、point-in-time r
How to perform ordered data replication between applications by using Amazon DynamoDB Streams | Amazon Web Services
AWS Database Blog How to perform ordered data replication between applications by using Amazon DynamoDB Streams AWS customers use Amazon DynamoDB to store mission-critical data. These customers’ applications make millions of requests per second to individual DynamoDB tables that contain hundreds of terabytes of items. They count on DynamoDB to return results in single-digit milliseconds. In many c
【CEDEC2017】人気タイトル『アナザーエデン』になぜ通信待ちストレスがないか。その理由は非同期オートセーブにあった | gamebiz
一般社団法人コンピュータエンターテインメント協会（CESA）が、8月30日～9月1日の3日間パシフィコ横浜にて開催している、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2017」（CEDEC 2017）。 本稿では、8月30日に実施された講演「アナザーエデンにおける非同期オートセーブを用いた通信待ちストレスのないゲーム体験の実現」についてのレポートをお届けしていく。 本セッションでは、グリー<3632>の鈴木清人氏、西田綾佑氏が登壇。『アナザーエデン』の特徴ともいえるオートセーブ機構を中心に、それらの基盤技術であるLevelDBやDynamoDBおよびflatbuffersについて話を展開した。 ▲グリーのWright Flyer Studios事業本部にてリードエンジニアを務める鈴木氏。『アナザーエデン』では、サーバ・クラ
New – Manage DynamoDB Items Using Time to Live (TTL) | Amazon Web Services
AWS News Blog New – Manage DynamoDB Items Using Time to Live (TTL) AWS customers are making great use of Amazon DynamoDB. They love the speed and flexibility and build Ad Tech (reference architecture), Gaming (reference architecture), IoT (reference architecture), and other applications that take advantage of the consistent, single-digit millisecond latency. They also love the fact that DynamoDB i
DynamoDBとGoogleスプレッドシートを相互同期するやつ - so what
confdのDynamoDBをGoogleスプレッドシートで管理したかったので作りました。 docs.google.com 使い方 まず、以下のようにDynamoDBのテーブルを作ります。(confdのと同じ） aws dynamodb create-table \ --region ap-northeast-1 --table-name hello \ --attribute-definitions AttributeName=key,AttributeType=S \ --key-schema AttributeName=key,KeyType=HASH \ --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1 ついでにddbcliを使ってテーブルにデータを入れておきます。 $ ddbcli ap-north
気楽にDynamoDBを使おう - Qiita
Merry Christmas! gureguです。kamiやmogiの作者です。 最近開発しているDynamoDBのライブラリーを紹介しようと思います。 DynamoDBとは DynamoDBはAmazon Web ServicesのNoSQLデータベースです。安くてスケールしやすいのが特徴です。DynamoDBの基本知識については、@kenichi_nakamuraさんのこの記事を読んでください。 aws-sdk-go AWSの公式がライブラリー。最近やっと1.0になりました！aws-sdk-goでは、DynamoDBへの問い合わせはできるが、かなり面倒臭いことをやらなきゃいけない。公式のライブラリーはポインターだらけで、データのMarshalとUnmarshalで苦労することがあります。 Introducing dynamo dynamoは、DynamoDBを使いやすくするライブラリ
DynamoDBを使ったKPI保存システム | GREE Engineering
こんにちは！データエンジニアリングチームの長谷川と田畠です。 グリーのデータ分析基盤を良くする仕事をしています。 これはGREE Advent Calendar 2015の6日目の記事です。昨日のRobinさんの記事はVR開発に取り組んだことがあるからこそ書ける記事で、みなさんにとっても新鮮だったのではないでしょうか？ 今日はゲームから少し離れて、KPIダッシュボードのバックエンドをオンプレミスからAWSに移行した話をしたいと思います。最後までお付き合いよろしくお願いします。 はじめに KPI分析を定常的に行うことは、プロダクトの改善のために非常に重要であり、グリーにおいても多くのプロダクトがKPIを閲覧/分析するためのシステムを利用しています。 社内の分析環境では、KPIのデータは時系列データベースに保存されており、内製のグラフ描画ツールにアクセスすることでグラフとして閲覧することができ
Go lang bbpd / Amazon DynamoDBのプロキシサーバ
Go Advent Calendar 2015 - Qiita 11/4の記事です。 Go言語で書かれた、Amazon DynamoDBのプロキシサーバの紹介をします。 もともと、他言語のPHPで書かれたウェブアプリケーションで、AWS SDK for PHPを利用してDynamoDBを使おうとしていたのですが、Class Preloader for PHPがうまく動かせず、全然パフォーマンスが出なくて困っていました。EC2 c4.xlarge nginx + php-fpm でベンチマークして800 req/s ほどでした。（PHP with Amazon DynamoDB） そのため、他言語でDynamoDBのプロキシサーバを立てて、そのAPIを経由してデータのSet / Getをしようと考えて、色々探しまわった結果、SmugMugという企業がオープンソースで公開している、Goで書かれ
9月20日に発生したAmazonクラウドのDynamoDB障害。原因はセカンダリインデックス増大によるメタデータ処理のパンク
9月20日に発生したAmazonクラウドのDynamoDB障害。原因はセカンダリインデックス増大によるメタデータ処理のパンク Amazonクラウドが提供しているDynamoDBは、キーバリュー型のNoSQLデータベースサービスです。運用管理はクラウドに任せられて簡単に利用でき、高速かつ非常に大規模なスケールで展開できることなどを特長とする、クラウドならではのサービスの1つです。 そのDynamoDBで、米東リージョンにおいて9月20日午前2時頃（太平洋夏時間）から午前7時頃まで障害が発生。DynamoDBを利用しているEC2 Auto Scaling、Simple Queue Service、CloudWatch、そしてコンソールなどにも一時的な障害が発生していました。 また、この障害はAmazonクラウドを利用している他社のさまざまなサービスにも影響を与えたと報じられています。 Amaz
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
DynamoDB ベストプラクティス - Qiita
今年は始めて、re:Inventに参加してきたので、その際に見た「Amazon DynamoDB: Data Modeling and Scaling Best Practices」というセッションの内容を共有したいと思います。 内容をだいぶ端折ってるので、間違っている場合には、びしばしツッコミいただければと思います。 では、まいります。 1. CacheはCashなり なんでDynamoDBを使うかといえば、やっぱり、ポチポチっと設定するだけで簡単に読み込み、書き込み性能を上げたり、下げたりできるっていうのが大きなポイントかと思います。 ただ、設定した性能も、データのアクセスパターンによっては思い通りの性能が出ないことがあります。 例えば、ReadCapacityを 100から5,000 に上げたとします。そうると、DynamoDBは、「オレ１人では捌き切れない」と思って、パーティション
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PayPayでのDynamoDB活用事例について
DynamoDBのQueryおよびScanの消費読み込みキャパシティについて - Qiita
GitHub - cloudnative/lambda-chat: A chat application without servers - using only AWS Lambda, S3, DynamoDB and SNS
