AWS再入門 Amazon Kinesis編 | DevelopersIO
はじめに AWSチームのすずきです。 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の16日目のエントリです。 昨日15日目のエントリは、千葉による『Amazon DynamoDB』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日16日目のテーマは『Amazon Kinesis』です。 Amazon Kinesisとは 大量に連続して発生するストリーミングデータをAWS上に格納するための受け口となる、フルマネージドサービスです。 高い信頼性、耐久性と、コストパフォーマンスに優れたバッフ
AWS IAM で RDS for MySQL と Amazon Aurora データベースへのアクセスを管理
本日より Amazon RDS で AWS Identity and Access Management (IAM) を使用して Amazon RDS for MySQL DB インスタンスや Amazon Aurora DB クラスターのデータベースアクセスを管理できるようになりました。データベースの管理者はデータベースユーザーと IAM ユーザーやロールを関連付けることができます。IAM を使用することで、すべての AWS リソースへのユーザーアクセスを 1 か所で管理することができ、別の AWS リソースと同期していないアクセス許可に起因する問題を避けられます。 DB インスタンスの作成中に該当のチェックボックスをオンにすることで、データベースユーザー認証で IAM を使用できます。IAM 認証を有効にするように既存の DB インスタンスを変更することも可能です。有効後、データベース
実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
オンプレからAWSのDNSを引く高可用性な構成 | DevelopersIO
コンニチハ、千葉です。 オンプレ+AWSのハイブリッドな構成で、AWS側のDNS引きたいということがあります。 例えば、ELBやRDSです。オンプレ側がインターネット接続可能でパブリックなDNSを引く場合はあまり問題になりません。が、オンプレ側がパブリックDNSを引けない場合は困りますね。 この場合、AWSのDNSをを利用したくなるのですが残念ながらオンプレからAWSのDNSを直接引くことはできません。 構成 そこで、直接引くのではなくAWS上にDNSフォワーダーを立て、オンプレのサーバではこちらを参照するように構成します。 自前で立てるのではなく、AWS Directory Serviceを使えばマネージドなので運用が楽になります。参考 ただ、今回はオンプレからDirect Connect(またはVPC、以下略)経由にてS3をアクセスする構成を考えており、今回立てるDNSフォワーダー上に
ハイブリッド構成でのVPC内のDNS - シンプライン（Simpline）公式採用サイト‐採用情報
2014/12/28 昨日再挑戦してようやく合格できたソリューションアーキテクトのプロフェッショナル試験でもたくさん出てきたDirectConnect（DXと略すらしい）。オンプレミスとVPCを接続した場合に起こるDNS絡みの問題についてまとめておこうかと。 VPC内のデフォルトDNS VPC内ではデフォルトで利用可能なDNSが存在し、内部的にはVPCを作成する際に指定したネットワークの先頭に+2をしたものが指定される。DHCP Options setで、「AmazonProvidedDNS」と指定されているものがそれ。Linux環境であれば、反映された内容を/etc/resolv.confからも確認できる。 これ以外に「169.254.169.253」も利用可能らしいが、名前引きだけできることを試してみただけで、どうやって使ったら良いのかは不明。DHCP Options setから指定し
AWSバッドノウハウ集 2017/02 - Qiita
おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書かれていたんですがその辺は確認している。 t2の可用性が問題になったケースいくつかあるんだけど、自分の場合はネットワークがたまに断する問題が多くて、分散DBクラスタの死活監視で1secごとにpingするだけでCPUは常に1%以下みたいなものとかに使うとカジュアルに10
サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
【AWS】Auto Scalingまとめ - Qiita
どうも、iron千葉です。 Auto Scalingについて、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです。 Auto Scalingとは インスタンスの数を自動で増減できる インスタンスの数は最少、最大を指定する 増減のトリガーはCloudWatchのメトリックスを指定できる 増減のトリガーは時間を指定できる Auto Scalingのコンポーネント Auto Scaling Groups オートスケール対象のEC2インスタンスグループの管理単位 EC2インスタンスの最少数、最大数、希望する数を指定 Loaunch Configuretions Auto Scaling時に起動するEC2インスタンスを定義する AMI ID、インスタンスタイプ、ディスクサイズ、キーペア、セキュリティグループ等を指定（EC2インスタンス作成に指定す
アクセスポリシーのガイドライン - Amazon Simple Storage Service
Amazon S3 では、リソースベースのポリシーとユーザーポリシーを使用して、Amazon S3 のリソースへのアクセスを管理できます。詳細については、リソースへのアクセスの管理 を参照してください。リソースベースのポリシーには、バケットポリシー、バケットアクセスコントロールリスト (ACL)、オブジェクト ACL があります。このセクションでは、リソースベースのアクセスポリシーを使用して Amazon S3 のリソースへのアクセスを管理する具体的なシナリオを紹介します。 ACL ベースのアクセスポリシー (バケットおよびオブジェクト ACL) の使用が適する場合 バケットとオブジェクトには関連する ACL があり、アクセス許可を付与するために使用できます。 S3 オブジェクト所有権は、Amazon S3 バケットレベルの設定で、バケットにアップロードされる新しいオブジェクト所有権を制御
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
Auroraのスナップショット復元時間 | 外道父の匠
年明けからAuroraに粘着し続けて４記事目、残りカスのような数値を記録しておきます。 RDS/Auroraは起動時間がそんなに早くないですが、スナップショットからの復元は特に遅いと感じたので、データ容量との関係を調べておきました。 スナップショットからの復元時間 いざという時・・・のためでもありますが、より機会が多いであろうテスト用に起動する時のためにも、何GBならだいたい何分で起動するのかを知っておくと、運用上健康的ですよね、ということで。Auroraの管理画面で、進行％を出してくれると最高なんですが、まぁそこまで要求するのもアレなんで、、（ﾁﾗｯ）ただデータを増やして起動するという、不毛気味な検証というかデータ採取をしてみました。 sysbench と INSERT ～ SELECT でデータ容量を倍増させてはスナップショットを取得。そして１つずつ起動時間を計測していきました。 起動
AWS 認定ソリューションアーキテクト プロフェッショナルに合格したので対策と勉強方を公開 - YOMON8.NET
AWS 認定ソリューションアーキテクト – プロフェッショナル(Certified AWS Solution Architect Professional)に合格してきました。勉強方法などの試験対策について書いていきたいと思います。 勉強時間 勉強方法 サンプル問題 模擬試験受験 模擬試験分析 本試験振り返り さいごに 2019/09/17追記 勉強時間 アソシエイト取得してから1ヵ月経ってないのですが、頑張って勉強しました。前提知識もこちらのエントリの通り。 yomon.hatenablog.com ダラダラとやると結局は受験しない、なんてことになりかねないので、自分にむち打って最初に受験日設定しました。32,400円も自分の財布から出せばやる気も出るだろうということで。 勉強時間は25～30時間程度です。ただ、正直なところ勉強不足でした。もっと勉強時間必要だと思います。 勉強方法 サン
「AWS 認定ソリューションアーキテクト – アソシエイト」に合格した勉強法7選 - kakakakakku blog
今日「AWS 認定ソリューションアーキテクト – アソシエイト」試験を受けて無事合格した！業務経験なしのサービスも含めて約2週間頑張って勉強したから達成感がある．まさに「ソリューションアーキテクト」と言える実践的なクラウド設計を学べたし，約4ヶ月間業務で AWS の運用も兼任しているから，現状のスキルレベルを確認することもできて良かった．毎日書き続けていた個人的な勉強法とメモを公開しようと思う． AWS 認定とは？ 種類 全5種類ある． AWS 認定ソリューションアーキテクト – アソシエイト AWS 認定 SysOps アドミニストレーター – アソシエイト AWS 認定デベロッパー – アソシエイト AWS 認定ソリューションアーキテクト – プロフェッショナル AWS 認定 DevOps エンジニア – プロフェッショナル aws.amazon.com 再認定 AWS 認定は2年ごと
[AWS]セキュリティグループの上限の考え方を再確認する - Qiita
はじめに セキュリティグループに設定可能なルールの上限数について、 ざっくりとした認識だけを持っておりました。 1つのEC2にセキュリティグループ5個まで 1つのセキュリティグループにルール50個まで 両者を乗算した数が250を超えてはいけない ここで、こんなことをしたいなーとなった時に、実現できるのか気になったため確認しました。 1つのEC2インスタンスに下記3個のセキュリティグループをアタッチ セキュリティグループ1：ルール数 10個 セキュリティグループ2：ルール数 10個 セキュリティグループ3：ルール数 230個 追記 この記事では単に「セキュリティグループ」と書いてしまいましたが、正確には「EC2-VPC用のセキュリティグループ」です。 それ以外に何かあるの？という方は以下をご参照ください。 http://docs.aws.amazon.com/ja_jp/AmazonVPC/
![[AWS]セキュリティグループの上限の考え方を再確認する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b83b861b6a07aee05ace78f247882acb9b08b32/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQVdTJTVEJUUzJTgyJUJCJUUzJTgyJUFEJUUzJTgzJUE1JUUzJTgzJUFBJUUzJTgzJTg2JUUzJTgyJUEzJUUzJTgyJUIwJUUzJTgzJUFCJUUzJTgzJUJDJUUzJTgzJTk3JUUzJTgxJUFFJUU0JUI4JThBJUU5JTk5JTkwJUUzJTgxJUFFJUU4JTgwJTgzJUUzJTgxJTg4JUU2JTk2JUI5JUUzJTgyJTkyJUU1JTg2JThEJUU3JUEyJUJBJUU4JUFBJThEJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05MzYwZWRkMDEzMDJiMmE0YzQ3NzAyY2QyNzhjZmZkMA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwQmF0Y2hpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05MDIwNjZmNzIxMTA0ODVhNzdiZGY2ZTEyNDY0MjAxZg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df70a0b5e00b96eb149a198cc3fa3ae5e)
10日で大丈夫！AWS認定ソリューションアーキテクト アソシエイツの勉強法！ - Qiita
公式サイトのサンプル問題にチャレンジ 次にどのような問題が出るのかを知るためにAWS公式サイトの試験サンプル問題にチャレンジでいてみましょう。 こちらのサンプル問題も試験範囲のアップデートに伴って定期的にアップデートされますが、５問〜８問程度のサンプル問題があります。 この時点で問題の答えが分からなくても、まずはどのような形式の問題が出るのかを理解するようにしてください。 出題形式は以下のような種類となります。 択一問題 選択肢の中から設問の答えとして正しいもの、または記述を完成させるものを1つ選んで回答する。 選択肢が画像の中に埋め込まれている場合は、受験者が選んだ部分に「カーソルを合わせてクリック」することで設問への回答とする。 複数選択問題 選択肢の中から、設問の答えとして正しいもの、または記述を完成させるものを複数選択して回答する。 状況把握問題 説明文または設問を読み、選択肢の中
AWS AthenaでPartitionを作る - Qiita
BigQuery破産ならぬAthena破産 クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。 ちょっとしたミスがとんでもないことになる。 そこまでビビらなくてもいいですが、 とはいえ、怖いのは怖いものです。 とはいえ、使わないというのもどうかと思います。 ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すれば それなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。 が、 我々がよくAthenaで見
Well-Architected を目指した改善と組織文化への影響 | CyberAgent Developers Blog
（弊社デザイナーが作ってくれた私の LGTM 画像です） Developers Blog に初登場！クラウドファンディングプラットフォーム Makuake の吉田慶章 ( @kakakakakku ) です．Makuake には約1年前に JOIN しました．JOIN した直後はサーバサイド開発をメインに新機能の開発を担当していましたが，2016年3月頃からウェブオペレーションエンジニアも兼務し，インフラ構成やアーキテクチャの改善をしたり，DevOps 文化の推進をしています． どんなサービスにも「技術的負債（もしくは何かしらの課題）」はあると思います．特に成長期のスタートアップでは，新機能をリリースすることを最優先に開発をする場面も多いですし，またサービスの急激な成長に伴って，今までは問題なく稼働していたアーキテクチャが，突如運用に耐えなくなってしまうこともあります．ある意味で「技術的負
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS EC2でメモリ利用率をCloud Watchで監視する - Qiita
[AWS] AWS認定ソリューションアーキテクト – プロフェッショナル試験に合格したので、勉強したことを簡単にまとめてみました。 – LexTech
Amazon Certification Training Course & Practice Test Exam Dumps - AioTestking