AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
身に覚えのない170万円の請求が……AWSの運用管理で起きた“4つのしくじり”
「AWSを使って構築したお客さまの環境を日々運用していく中で、これまでさまざまな失敗を経験してきた」――アイレットの古屋啓介さん（クラウドインテグレーション事業部インフラエンジニア）は、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」のセッションでこう明かした。 アイレットはクラウド専業のSIer。AWS（Amazon Web Services）のマネージドサービス「cloudpack」なども提供しているが、細かい仕様の見落としなどが原因で、cloudpackの運用でいくつかの“しくじり”があったという。 身に覚えのない170万円の高額請求がAWSから来た 古屋さんによると、特に印象に残っている失敗は4つ。その1つ目は「Amazon Athena」で170万円の請求が来たことだ。 AthenaはAWSが提供するPaaSで、オンラインス
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝
6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
AWSの膨大で複雑なサービス群をすべて「たった1行」で説明していくとこうなる
AmazonのクラウドサービスであるAWSは、コンピューティングやデータベース、ストレージなど、膨大で複雑なサービスで構成されています。こうした豊富なサービス群をうまく組み合わせて利用する「ビルディングブロック」がAWSのメリットでもありますが、サービス数が多すぎてなかなか全体像を把握できないのも事実。フリーランスのエンジニアでありコンサルタントでもあるジョシュア・テイセン氏が自身のブログで、AWSのすべてのサービスを「たった1行」で説明しています。 Amazon Web Services https://adayinthelifeof.nl/2020/05/20/aws.html テイセン氏によると、Amazon Dashboardから利用可能なAWSのサービスは記事作成時点で163あるとのこと。そのすべてを正確に理解する必要はありませんが、基本を押さえておくことはいいことであり、問題の
普通のプログラマーがAWSをゼロから勉強するためにやったことと現在の勉強方法 ｜ Developers.IO
大阪オフィスのYui(@MayForBlue)です。 クラスメソッドでAWSエンジニアというロールで働き始めて２ヶ月が経ちました。 元々プログラマだった私がAWSを勉強するために何をしたか、いま現在どのようにAWSを勉強しているかを備忘録として残しておきたいと思います。 特にこれからAWSを勉強したいと思ってる方の参考になると嬉しいです。 ポエムです。 目次 AWSを勉強するために最初にやったこと 現在の勉強方法 最後に AWS学習のおすすめ記事 AWSを勉強するために最初にやったこと 当時のスペック 当時(約10ヶ月前)はプログラマ歴1年ちょっとでインフラ、クラウドは実務経験も知識もない状態でした。 仕事では主に業務アプリのプログラマをやっていました。 なぜAWSを勉強しようと思ったか そもそもプログラマなのになぜAWSを勉強しようと思ったかですが、初めはAWSではなく"インフラ"を勉強
障害から学ぶクラウドの正しい歩き方について考える - そーだいなるらくがき帳
AWSで大きな障害が発生したこの機会に、自分がクラウドと正しく付き合っていくために必要なことを考える。 piyolog.hatenadiary.jp ちなみに稼働率 99.99% くらいを目指していくために必要な事を考える。 必要な稼働率を見極める 今回は 99.99% くらいを目指すと言ったが、実際に自分たちにとってどのくらいの稼働率を目指すか？ということはとてもとても大切だ。 幸い、今回自分は影響がなかったが、本当に完璧か？と言われるとそうではない。 まず弊社の場合、マルチリージョンではないので東京リージョンが落ちたら落ちる。 これを許容できない場合に99.99%を目指せるか？というと正直厳しい。 しかしサイトの規模はそんなに大きくないのでデータサイズも現実的に転送出来る範囲で、コンポーネントも少なく、TerraformやAnsibleによって再構築しやすい状態は整っている。 そのため
【全員必須】GuardDutyがコスパ最強の脅威検知サービスであることを証明してみた | DevelopersIO
こんにちは、臼田です。 AWSサービスの中では「これは全員必須」のサービスはいくつかありますが、その中でも2017年のre:Inventで登場したGuardDutyは最強の脅威検知サービスです。(多分な私的見解を含みます) GuardDutyを有効化するだけで、EC2やALBなどの運用しているサービスへの攻撃やAWSアカウント自体への攻撃を検知することができます。手間いらず！具体的には下記のようなものを検知できます。 コインマイニング ssh/RDPブルートフォースアタック IAM Userの不正ログイン C&Cサーバへの通信 ポートスキャン 漏洩したクレデンシャルの利用 通常であれば様々なログを監視したり相関分析する必要がありますが、そのあたりはGuardDuty側がいい感じに機械学習して判断してくれます。 利用者はGuardDutyが見つけた検知結果を受け取るだけです。素晴らしい！ G
AWS、侵入テスト申請やめるってよ - とある診断員の備忘録
先日twitterを見ていたら、こんなつぶやきを拝見して、個人的に侵入テスト申請には色々思い入れのある身であるため、ビックリした「とある診断員」です。 あれ？AWSの侵入テスト申請いらなくなりました？ pic.twitter.com/Z6ULU10SMy— 三ツ矢 ◎=3 (@328__) March 1, 2019 このブログでもとりあげましたが、今までAWSはペネトレーションテストや脆弱性診断などを実施する際に、AWS側への事前の申請が必要だったのですが、今回ポリシーの変更があったらしくどうやら不要になったようです。 ということで、私も自分で確認をしてみました。 Penetration Testing - Amazon Web Services (AWS) 現在日本語版サイトは、翻訳が間に合ってないようでまだ更新されてないようですが（2019/3/5確認）、英語版の方は記載内容がガラリ
サーバはどこだ？ ポケモンGO の通信をキャプチャしてみた
世界中で爆発的人気のゲームアプリ「ポケモンGO（Pokémon GO）」が、2016年7月22日(金)から日本でも配信が開始されました。週末しかも夏休みの開始も重なって、ポケモンGOのサーバには、想像を絶するアクセスが集中していることかと思います。 多少のサーバダウンが発生しているようですが、これだけの高負荷に耐えているサーバは何を使っているのかは気になるところです。そこで今回は、ポケモンGOアプリの通信をパケットキャプチャして、どこのサーバを使っているのかを調べてみました。 キャプチャ結果現時点（2016年7月23日）では、下記サービスが使われているようです。おそらく最強のサーバインフラではないでしょうか。 Google Cloud Platform（Cloud Load Balancing） 05:22:03.787744 IP 80.14.211.130.bc.googleuserc
Amazonクラウドの支払いで日本円が選択可能に。VISAもしくはMasterCardで
Amazonクラウドは、日本円を含む11の通貨によるクレジットカード支払いを開始したこと明らかにしました。 対象はVISAもしくはMasterCardによる支払いで、Amazonクラウドのアカウント設定画面を開き、通貨を指定することで日本円の支払いが可能になります。 日本でAmazonクラウドを利用する場合、これまでは基本的にAmazonクラウドから米ドルで請求が行われていました。利用者はその請求額に対し、クレジットカード会社の設定した為替レートによって置き換えられた日本円の金額で支払っていました。 今回の発表後もAmazonクラウドの利用料がドルベースであり、為替レートによって日本円の金額が変動する点は変わりません。が、上記画面で分かるとおりAmazonクラウドが独自の為替レートに基づいて日本円での金額を計算し、日本円で請求することになります。クレジットカード会社による為替レートでの変換
Where’s My Secret Access Key? | Amazon Web Services
AWS Security Blog Where’s My Secret Access Key? Update on March 12, 2019: You can now find and update your access keys from a single, central location in the AWS Management Console. Learn how in this post. In this blog post, I’ll discuss what you should do in case you’ve lost your secret access key or need a new one. This post assumes that you are familiar with what access keys are. If you aren’t,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS障害で本当に知っておくべきことと考慮すべきこと
クラウド集中にもろさ アマゾン「AWS」大規模障害 - 日本経済新聞
「AWS上のセキュリティ対策をどういう順序でやっていけばいいか」という話をしました~Developers.IO 2019 Security登壇資料~ | DevelopersIO
Slerとaws運用の付き合い方