5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
サーバーレス失敗談 - テーブル設計編 | HiCustomer Lab - HiCustomer Developer's Blog
こんにちは、エンジニアの肥前です。この記事は Serverless Advent Calendar 2018 の13日目です。 また、HiCustomer Tech Blog の最初の記事でもあります。今後もチームで継続して得られた知見を書き溜めていく場にしたいなと思います。 さて、いわゆる ”サーバーレスアーキテクチャ” を採用してスタートアップのプロダクト開発を開始しておおよそ一年が経過しました。もちろん恩恵に預かっている部分、省力化できた点は多々あるのですが、今改めて振り返るとアンチパターンを踏んでいたり、このまま放置すると負債化しそうな箇所が見えてきています。失敗した話というのはなかなか表に出しづらいものではあるのですが、少しでもこれから取り組む方の助けになればと思い記事に残してみようと思います。サーバーレス界隈の方々にはあるあるネタだと思うのでご笑納ください。 前提となる構成 事
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita
はじめに 最近サーバレスアーキテクチャに興味を持っています。以下2エントリーはGoogle Apps ScriptでJava Scriptを使った時の記事ですが、今回はAWS上のLambdaを使って、サーバーレスでPythonコードを実行させることをやっていきたいと思います。記事の内容は、Pythonほぼ初めまして&&AWSほぼ初めましての人が、LambdaとDynamoDBでいろいろできるようになるまでの記録を書いていきます。 また最初AWS分かんなさすぎて最初は絶望していたし、Lambdaはエラー出まくって初見殺しだし、Python興味はあるけど使ったこと少なめと、かなり初心者目線で記事を書いていきたいと思ってます。写真多め、初心者がわかる程度の内容を、ひとつずつ書いていく感じですので、PythonistとAWS上級者の方は新しいことはないかと思いますが、どうぞよろしくお願いします。
![[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b3782ac3cb9df726f9db751a95aace065be13f6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJTIwQVdTJTIwJTVEJTIwJUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2TGFtYmRhLVB5dGhvbiVFMyU4MSVBOER5bmFtb0RCJUUzJTgxJUFCJUU4JUE3JUE2JUUzJTgyJThCJUU0JUJBJUJBJUUzJTgxJUFCJUU1JThGJTgyJUU4JTgwJTgzJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUUzJTgxJThCJUUzJTgyJTgyJUUzJTgxJUFBJUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04ZWU0MGM2YTk1OWIyMTQ4ZTg0NDliYTM1MDI3N2UzZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweWtoaXJhbyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzJmYjQxZjhhOGNjYjYxZjdhZDg2NjNjMDI1OTgzMTk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D92d653200dfb69a256b6b26d7543b863)
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの江川(@daiti0804)です。本日は、AWS のソリューションアーキテクトであるGowri Balasubramanian が、AWS Database Blogに投稿したChoosing the Right DynamoDB Partition Key をご紹介します。 このブログ投稿では、リレーショナルデータベースから DynamoDB へ移行するにあたって、適切なパーティションキーを選択するための重要な考慮事項と戦略を説明します。これはDynamoDB を利用するスケーラブルで信頼性の高いアプリケーションの設計と構築において重要なステップです。 パーティションキーとは DynamoDB では二種類のプライマリキーをサポートします: パーティションキー(Partition key): ハッシュキー(以前の名称)としても知られていますが、パーテ
コンセプトから学ぶAmazon DynamoDB【Amazon RDSとの比較篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。AWS上のシステム設計において、どんな時にRDSを選択するのか、そしてどんな時にDynamoDBを選択するのか。比較しながら見て行きたいと思います。 RDBとNoSQL ACIDなRDB 一昔前、一般的に「データベース」と言えば、多くはリレーショナルデータベース（RDB）のことを指していました。テーブルと呼ばれる「行とカラムで構成される二次元のデータ構造」に対して、SQLと呼ばれる強力なクエリ言語で操作を行い、データの一貫性（Consistency: どこから観測しても同じ値が得られること）や操作の原子性（Atomicity: 一連の操作を全て適用commitするか、全てキャンセルrollbackするかの二択として実現できること）を実現するモデルは、開発者を含むシステムの利用者にとって非常に理解しやすく、広く受け入れられて来ました。多くの方がご存知の通
DQLを使ってDynamoDBをSQL操作する | DevelopersIO
AWS には NoSQL データベース DynamoDBが存在します。 標準では ウェブ管理画面 AWS CLI SDK を使ったプログラム から操作することもでるものの、地味に面倒です。 今回は DQL を使ってシェルインターフェースから DynamoDB を SQL 操作する方法を紹介します。 DQL とは? DQL は "DynamoDB Query Language" の略で DynamoDB 向けの SQL 風インターフェースです。 DynamoDB テーブルの作成・更新・削除からレコードの追加・参照・更新・削除を SQL 風に操作できます。 サクッと DynamoDB の中を覗く場合には、今回紹介するようなツールを使うのがお手軽ではないかと思います。 インストール DQL は Python で書かれているため pip でインストールします。 $ pip install -U d
【AWS】今更ながらDynamoDB入門 - ニクニクドットミー
NoSQLデータベースであるDynamoDBに今更ながら入門してみようと思います。 こちらの記事を参考に手を動かしながら、感覚をつかもうと思います。 AWS再入門 Amazon DynamoDB 編 ｜ Developers.IO また、DynamoDBにはハッシュキー、レンジキーといった概念があるので、それらを理解する為にこちらを参考にさせて頂きます。 コンセプトから学ぶAmazon DynamoDB【Amazon RDSとの比較篇】 ｜ Developers.IO コンセプトから学ぶAmazon DynamoDB【ハッシュキーテーブル篇】 ｜ Developers.IO コンセプトから学ぶAmazon DynamoDB【複合キーテーブル篇】 ｜ Developers.IO Amazon DynamoDBはマネージドなNoSQLデータベースです。RDBMSとは違い、リレーションやトランザ
Amazon DynamoDB のサービス、アカウント、およびテーブルのクォータ - Amazon DynamoDB
このセクションでは、Amazon DynamoDB 内の現在のクォータ (以前は制限と呼ばれていました) について説明します。各クォータは、指定がない限り、リージョン単位で適用されます。 読み込み/書き込みモードとスループット この設定は 24 時間に 2 回変更できるため、今後変更する必要があるとしても心配はいりません。 キャパシティユニットサイズ (プロビジョニングされるテーブルの場合) 最大サイズが 4 KB の項目について、1 つの読み込みキャパシティーユニット = 1 秒あたり 1 回の強力な整合性のある読み込み、あるいは 1 秒あたり 2 回の結果整合性のある読み込み。 最大サイズが 1 KB の項目について、1 つの書き込みキャパシティーユニット = 1 秒あたり 1 回の書き込み トランザクション読み込みリクエストでは、最大 4 KB の項目を 1 秒あたりに 1 回読み込
AWS API Gatewayを使ってDynamoDBにデータを読み書きしてみた - Qiita
API Gatewayとは API Gatewayは乱暴な言い方をするとAPIを提供するための仕組みで、APIのバージョン管理、認証機能の追加を容易にしている。API GatewayはAWS Lamdaや他のWeb API呼び出しと接続することができる。例えば、認証機能を持たないWeb APIに対して、API Gatewayで認証機能を追加することが簡単にできる。今回はAPI GatewayとLamdaを接続し、DyanamoDBに読み書きをする簡単な例を記述します。 リージョンについて 2015.09.01現在はUS-EAST, US-WEST, EU(アイルランド)の3リージョンのみ対応しているので注意が必要。Tokyoリージョンでは現状使えません。LamdaのメニューからはAPI Gateway + Lamdaで作成できるBlueprintがTokyoでも有効なので注意が必要です。私
DynamoDBをlocal環境で動かしてみる - Qiita
[Step2]任意のディレクトリ下で展開し、そのディレクトリ下に移動 こんな感じです [Step3]DynamodbLocalを起動 ここも、ドキュメントにあるようにまずはDynamodbLocalを起動してみます。 $ java -Djava.library.path=./DynamoDBLocal_lib -jar DynamoDBLocal.jar -sharedDb Initializing DynamoDB Local with the following configuration: Port: 8000 InMemory: false DbPath: null SharedDb: true shouldDelayTransientStatuses: false CorsParams: * $ sudo brew install awscli Password: ~~~~省略~
DynamoDB ベストプラクティス - Qiita
今年は始めて、re:Inventに参加してきたので、その際に見た「Amazon DynamoDB: Data Modeling and Scaling Best Practices」というセッションの内容を共有したいと思います。 内容をだいぶ端折ってるので、間違っている場合には、びしばしツッコミいただければと思います。 では、まいります。 1. CacheはCashなり なんでDynamoDBを使うかといえば、やっぱり、ポチポチっと設定するだけで簡単に読み込み、書き込み性能を上げたり、下げたりできるっていうのが大きなポイントかと思います。 ただ、設定した性能も、データのアクセスパターンによっては思い通りの性能が出ないことがあります。 例えば、ReadCapacityを 100から5,000 に上げたとします。そうると、DynamoDBは、「オレ１人では捌き切れない」と思って、パーティション
【AWS】今更ながらDynamoDB入門 - Qiita
結果整合性はS3と同じですね。データ更新直後はデータが取得できなかったり、古いものが取得される可能性があります。 Black Belt Techをぺたっと張っておきます。 DynamoDBの特徴 データは3箇所のAZに保存されるので信頼性が高い ストレージは必要に応じて自動的にパーティショニングされる テーブルごとにReadとWriteそれぞれに対し、必要な分だけのスループットキャパシティを割り当てることができる 例えば下記のようにプロビジョンする Read : 1,000 – Write : 100 書き込みワークロードが上がってきたら Read : 500 – Write : 1,000 この値はDB運用中にオンラインで変更可能 – ただし、スケールダウンに関しては日に４回までしかできないので注意 使った分だけの従量課金制のストレージ データ容量の増加に応じたディスクやノードの増設作業
会員登録機能をサーバレスアーキテクチャで実装する - Qiita
<form method="post" action="API Gatewayエンドポイント"> <input type="text" name="email" value=""/> <input type="password" name="password" value=""/> <input type="submit" value="Send"> </form> フォームの送信先にAPI Gatewayをセットします。HTMLフォームからAPIGatewayを使ってAWS LambdaにPOSTするを参考にして、POSTのデータをLambda側でjsonで扱えるように設定します。 正常に処理が終了すればサンキューページにリダイレクト DynamoDBにデータが登録できれば、サンキューページにリダイレクトするようにAPI Gatewayを設定しましょう。 Method Responseを
Amazon DynamoDB LocalをOSX(Mountain Lion)で実行する | DevelopersIO
ども、大瀧です。 先ほど、Amazon DynamoDBをローカルで実行する、DynamoDB LocalがAWS Blogで公開されました。早速、手元のMBAで動かしてみました。その軌跡を記録として残しておきます。 Oracle Java SE 7のインストール OSXにプリインストールされるApple Java 6で動かそうと思ったのですが、以下の@KenTamagawaさんから指摘の通り、JDK 7でないと動作しません。 <blockquote class="twitter-tweet aligncenter" data-conversation="none" data-cards="hidden"><p>JDK7が必要ですー [現在失敗]Amazon DynamoDB LocalをOSX(Mountain Lion)で実行する｜クラスメソッド株式会社 開発ブログ 書いた人 >
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDB を使用した設計とアーキテクチャの設計に関するベストプラクティス - Amazon DynamoDB
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon DynamoDB（初心者向け 超速マスター編）JAWSUG大阪