DynamoDBでできないこと
この記事について 本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。 第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特性を持っています。 そのためRDBを設計するときと同じようなノリでスキーマ設計・テーブル設計を行うと、後から「この操作をやらせるならDynamoDBじゃないほうが良かったんじゃないか？」ということが発覚しがちです。 本記事では筆者が遭遇した「DynamoDBでやらせてみたら苦労した・できなくて設計変更を強いられた」というユースケースをまとめることで、DynamoDBのクエリ特性や適性を考察することを目指します。 使用する環境・バージョン 2024/1/1
【2023/3時点】AWSの通信料(コスト)を一枚にまとめてみた | いくらは神の食べ物
AWSの主な通信料を1枚もので記載しました。 日々AWSは新サービス、値下げを繰り返しているので最新情報はAWS公式ドキュメントをご確認いただきたいですが参考資料として役にたてば幸いです。 @ohsawa0515さんの作成されていた画像を参考に作りました！ AWSのネットワーク・データ転送料金がひと目で分かる図を作った。Direct ConnectとGlobal Acceleratorは描ききれんかった･･･ pic.twitter.com/97RM8fxgbe — shu1 (@ohsawa0515) January 30, 2020 上記画像の補足、ケース別の料金計算例などを以下に記載していきますので参考になれば幸いです。 EC2の通信料(コスト)について こちらの情報は2023/03/05時点の情報です。 AWSはコストダウンを定期的に行っておりますので情報が古い場合がございます。
AWSコスト削減とリソース管理 | 外道父の匠
クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ！ コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew
aws-vaultのmacOSのキーチェーンのタイムアウトを伸ばす - Qiita
はじめに aws-vault はAWSのアクセスキーをキーチェーンに保存しています。 しかしながらmacOSのキーチェーンのデフォルトのタイムアウトが短すぎて頻繁にパスワードを求められて、普段遣いするにはちょっとうざいです。これ伸ばせないのかなと思ったらできたのでメモ。 環境 macOS 10.14 (Mojave) aws-vault v4.6.4 解決方法 調べたところ、aws-vaultでmacOSのキーチェーンのパスワードが求められるのは、ちょっとわかりにくいんんですが、実は3種類あるようです。 99designs/aws-vault #219: Constantly have to re-enter keychain password, part 2 Keychain locked => タイムアウトを伸ばすことで解決可能 キーチェーンの設定を開きます。 「aws-vault」の
aws-vaultをLinux環境でも使う方法【セキュリティ向上】
aws-vaultは、アクセスキー等のAWSの認証情報をセキュアに保管し、より便利に使用することができるツールです。 Linux環境でaws-vaultを使用する方法について解説しているサイトがあまりなく、導入に手間取ったので、導入手順やハマったポイントについて残しておきます。 aws-vaultの特徴 よりセキュアな認証情報の保管と利用を実現 AWS CLIなどのAWSコマンドラインツールを使用する際には、環境変数や、~/.aws/credentials などに、平文でアクセスキーを保存するのが通常です。 これでは自分以外のユーザーからも認証情報が見えてしまう可能性があり、少し心許ないです。ノートPCなどにAWS CLIを入れて使用している場合、外出先で端末を落とした場合にアクセスキーを抜かれたりする危険もあります。 aws-vaultを利用すると、OSの機密情報ストア※1Windows
[アップデート] AWSマネジメントコンソールにVPCエンドポイント経由でアクセスできるようになりました | DevelopersIO
VPCエンドポイントポリシーでマネジメントコンソールからサインインできるアカウントを制御できるぞ。なお、インターネットに抜けずに閉域網からマネジメントコンソールにアクセスを実現するものではない模様。 インターネットに抜けずに閉域網からマネジメントコンソールにアクセスしたいな こんにちは、のんピ(@non____97)です。 皆さんはインターネットに抜けずに閉域網からマネジメントコンソールにアクセスしたいなと思ったことはありますか? 私はあります。 世の中にはセキュリティルームなどインターネットへのルーティングがされていない / インターネットへのアクセスが許可されていないエリアがあったりします。 そして、システムの要件上、そのような場所から運用することが求められるケースがあります。 そのような環境でAWSの運用をするのはかなり大変です。何しろAWSマネジメントコンソールにアクセスするにはイ
![[アップデート] AWSマネジメントコンソールにVPCエンドポイント経由でアクセスできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/46ad933779d759146e85686aa64fe5635983d564/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-management-console.png)
TerraformでAWS Chatbotを作成する
TerraformでAWS Chatbotを作成したいけれど、Terraform Registryを見てもそれらしきresource typeが無いとお嘆きの方へ。以下のmoduleを利用することで作成できます。 サンプルコード module "chatbot_slack_configuration_sample" { source = "waveaccounting/chatbot-slack-configuration/aws" version = "1.1.0" configuration_name = "config-name" guardrail_policies = ["arn:aws:iam::aws:policy/ReadOnlyAccess"] # 任意だが明示的に指定することを推奨。理由は後述。 iam_role_arn = aws_iam_role.chatbot.a
AWS re:Invent皆勤賞の私がほんとは教えたくないre:Invent完全攻略ガイド2023 - yoshidashingo
吉田真吾（@yoshidashingo）です。 AWS re:Invent 2022への参加おつかれさまでした。わたしは2012年の初回参加から2022年まで、2020年のオンラインのみの開催を除き、合計10回 AWS re:Invent に参加しています。世界でも珍しい皆勤賞です。 そんなわたしが来年に向けてすべての知見をここに置いておきます。みなさんにとってのワンピースです。こまかい説明がないと理解しづらい部分は今後加筆するかもしれないですが、一言一句に意味があるので何度も読み返してひとつも余さずに取り入れてもらうことを強く推奨します。 AWS re:Invent 2023 は 2023/11/27(月)〜12/1(金) に開催されます 2023/7/8(土)追記：昨日からJapanツアーが募集開始されたそうだ、手続き漏れやトラブル少なく企業として参加したい場合には購入をおすすめする。
AWS 導入事例：株式会社フロム・ソフトウェア | AWS
アクション RPG『ELDEN RING』のオンラインサービスを AWS のマネージドサービスで構築 ワールドワイドで最大 150 万同時接続のスケールに対応 ゲーム機向けアクションゲームの企画・開発を手がける株式会社フロム・ソフトウェア。同社は 2012 年からゲームソフトのインフラ基盤としてアマゾン ウェブ サービス（AWS）を利用しています。2022 年 2 月にリリースした『ELDEN RING（エルデンリング）』では、バックエンドにマネージドサービスの Amazon Elastic Kubernetes Service（Amazon EKS）や Amazon Kinesis Data Firehose を採用。スピーディな構築を実現し、ゲーム発売直後の最大 150 万同時接続に対しても迅速なスケールアウトで乗り切りました。リリース後はわずか 4 名の自社要員で安定した運用を継続し
Installation · Diagrams
It requires Python 3.6 or higher, check your Python version first. It uses Graphviz to render the diagram, so you need to install Graphviz to use diagrams. After installing graphviz (or already have it), install the diagrams. macOS users can download the Graphviz via brew install graphviz if you're using Homebrew. Similarly, Windows users with Chocolatey installed can run choco install graphviz. #
Amazon EC2 Instance Comparison
API Name Instance Memory Compute Units (ECU) vCPUs GiB of Memory per vCPU GPUs GPU model GPU memory CUDA Compute Capability FPGAs ECU per vCPU Physical Processor Clock Speed(GHz) Intel AVX Intel AVX2 Intel AVX-512 Intel Turbo Instance Storage Instance Storage: already warmed-up Instance Storage: SSD TRIM Support Arch Network Performance EBS Optimized: Baseline Bandwidth EBS Optimized: Baseline Thr
AWS ECS on Fargate + FireLens で大きなログが扱いやすくなった話 | BLOG - DeNA Engineering
はじめに コンテナオーケストレーションサービスの一つである AWS ECS on Fargate (以下 ECS on Fargate) では、FireLens を利用することで、コンテナが出力するログを簡単に任意のログ基盤へ送信できます。 しかし、FireLens を通じてコンテナのログをルーティングする場合、16 KB 以上のログは分割された状態でログルーティング用のコンテナに到達します。構造化ログを実現するためにアプリケーションが JSON などの形式でログを出力している場合、ログを分割される前の状態に復元する必要があります。 この記事では、FireLens とは何かをおさらいした上で、上記の問題の背景を解説します。また、この問題の解決策についてこれまで知られてきた方法と、最近の ECS on Fargate のアップデートにより利用できるようになった方法を解説します。それにより、読
Amazon ECS タスクのイベントとログを時系列で出す tracer を作った - KAYAC engineers' blog
SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア
Amazon RDS Proxy が BASE にもたらした期待以上の導入メリット - BASEプロダクトチームブログ
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
AWS再入門ブログリレー2022 Network Firewall 編 | DevelopersIO
こんにちは!AWS事業本部コンサルティング部のたかくに（@takakuni_）です！ 当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2022』の27日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2022年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。27日目のテーマは『AWS Network Firewall』です。 はじめに Netw
AWS SESで信頼性の高いメール送信(SPF, DKIM, DMARC) with Terraform - 電気ひつじ牧場
メール認証の仕組みと、SESでのTerraformを使った設定方法について紹介します。 メール認証の種類 メールメッセージ MAIL FROM FROM SPF(Sender Policy Framework) DKIM(DomainKeys Identified Mail) DMARC SESの設定 SESで利用するドメイン認証 DKIM設定 DMARC with DKIM DMARC with SPF 参考 メール認証の種類 メールでは送信元のなりすましを検出するための認証の仕組みとして、主に以下の3つがあります。それぞれRFCで定められています。 SPF(Sender Policy Framework) DKIM(DomainKeys Identified Mail) DMARC(Domain-based Message Authentication, Reporting, and
AWSでもsysctlやらなきゃならんのか・・・ - 中年engineerの独り言 - crumbjp
問題 構成 突発的に、１台のサーバーで５秒間だけ、502 Bad Gateway が数百〜数千出て困った。（②の部分） nginx.conf proxy_connect_timeout 5; 5秒はnginx設定によるモノなのだろうが、なんで一瞬だけ出るのか全然解らなかった。 nginxのerror.log にはこう出てて、これってproxy_passの設定ミスってる時の奴だよな。。と。。（③の部分） /var/log/nginx/error.log upstream prematurely closed connection while reading response header from upstream, client: 172.XX.XX.XX, server: _, request: "GET / HTTP/1.1", upstream: ... 一瞬、nginx -> no
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでのElastic IP逆引き解除申請の正しいやり方 2021年3月版 - 株式会社ネディア │ネットワークの明日を創る│群馬
無料Amazon認定試験問題集 - インスタントオンラインアクセスAmazon学習資料
