【AWS】大規模なバッチ処理を支える技術選定
ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要があります。 タイムアウト制約に関して留意すべきは、Lambdaの実行時間は15分までなので、それ以上を超える処理時間のバッチは実装できないことです。 起動•実行上のオーバーヘッドに関しては、Lambdaにはコールドスタートがあるため起動時にオーバーヘッドを考える必要があり、Batchではジョブをキューに送信して、最適化のために、ある程度のジョブがキューイングしてから実行しようするので、即時性を求める処理には不向きです。 既存バッチを移行したいケースがあると思いますが、Lambdaで動かせる
AWSコスト削減とリソース管理 | 外道父の匠
クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ！ コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew
AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ アマゾン ウェブ サービスが提供するIaC（Infrastructure as Code）の開発キットがAWS CDK（AWS Cloud Development Kit）です。本記事はAWS CDK入門者向けのチュートリアルとして、AWSでソリューションアーキテクトを務める吉川幸弘（@WinterYukky）さんによる、AWS Lambda関数でDynamoDBテーブルをスキャンするシンプルなハンズオンです。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン合同会社でソリューションアーキテクトを務めている吉川幸弘と申します。私は普段、西日本のお客様を中心に技術的なご支援や課題解決などをしています。 さっそくですが、みなさんはInfrastructure as C
AWSで障害に強いシステムを構築する方法 - Qiita
はじめに 2011年の東日本大震災、これから来ると言われる南海トラフ地震などの大規模な災害や事故に備えるために、災害復旧(DR)が可能なシステムと、その実現手段としてAWSを始めとしたクラウドが長年注目されています。 このDRに関連して、近年「レジリエンス」という言葉が注目を集めるようになりました。 レジリエンスとは、回復力、復元力、弾力などの意味を持つ英単語。IT分野では、情報システムがシステム障害や災害、サイバー攻撃などの問題に直面したとき、迅速に被害からの回復を図り正常な状態に復旧・復元する能力（の大きさ）をこのように呼ぶ。 https://e-words.jp/w/%E3%83%AC%E3%82%B8%E3%83%AA%E3%82%A8%E3%83%B3%E3%82%B9.html AWSでは、2019年8月に大規模障害が発生したことがあり、この時もAZ障害が起きた時に取り得る対策
AWSとは？初心者にもわかりやすく特徴・概要を纏めました | コラム | クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
AWSについて皆さまご存じでしょうか？ AWSとは、【Amazon Web Services】の略称で、世界で最も利用されているパブリッククラウドサービスであり、サービス数も豊富で機能アップデートや値下げがよく行われてサービスです。 AWSについて、よくこんな疑問やお悩みをお聞きします。 「AWSについて基礎から学びたいけど、公式サイトで理解を深めるのは難しい」 「AWSを使用し、オンプレからクラウドに切り替えたいけど何から手を付ければいいのかわからない」 「料金体系が分からないので、オンプレより費用が高くなりそう」 これらの悩みを改善できるようこの記事を参考に、知っているようで知らなかったAWSについて学んでいきましょう。 【この記事を読むとわかること】 AWSで実現できること・改善できることの理解 AWSで提供されている主要サービスについて AWSと比較されるAzure・Google
AWS、オンラインロールプレイングゲームでAWSのソリューション構築を学べる「AWS Cloud Quest」公開。実際にプレイしてみた
AWS、オンラインロールプレイングゲームでAWSのソリューション構築を学べる「AWS Cloud Quest」公開。実際にプレイしてみた AWSは、AWSを使って街の課題を解決しつつクラウドの技術を学んでいくゲーム「AWS Cloud Quest: Cloud Practitioner」公開した。実際にゲーム内で本物のAWSを操作する実践的な内容となっている。Webブラウザでプレイ可能。 Amazon Web Servicesは、クラウド技術者となったプレイヤーがAWSを使って街の課題を解決しつつクラウドの技術を学んでいく、無料のオンラインロールプレイングゲーム「AWS Cloud Quest: Cloud Practitioner」を公開しました。 .@awscloud just launched two initiatives including the game-based AWS
AWSアカウント作成時にやるべきこと - NRIネットコムBlog
Amazon Web Services (以下AWS)の利用開始時にやるべき設定作業を解説します。AWSの利用開始とは、AWSアカウントの開設を意味しますが、より安全に利用するため、AWSアカウント開設直後にやるべき設定がいくつかあります。この連載ではその設定内容を説明します。 AWS Organizationsを使用することで、複数のアカウントに自動的にこういった初期設定を行うことも可能ですが、この連載では新規で1アカウントを作成した場合を前提とします。複数アカウントの場合も、基本的な考え方は同じになります。 設定作業は全１９個あり、作業内容の難しさや必要性に応じて以下３つに分類しています。 少なくともMUSTの作業については実施するようにしましょう。 MUST ：アカウント開設後に必ず実施すべき作業 SHOULD ：設定内容の検討または利用方法を決定のうえ、可能な限り実施すべき作業 B
AWSアカウントを作ったら最初にやるべきこと 〜2021年版〜 #devio2021 | DevelopersIO
ログ・モニタリングのやるべきこと AWS CloudTrail の設定 CloudTrail は AWS リソースを「誰が」「いつ」「何に」対して「どうような」操作をしたのかを記録するサービスです。 ログの長期保管の設定をしておくことで、トラブル発生時の解析等に利用できます。 有料です（無料利用枠もあります） [YouTube] AWS CloudTrailを触ってみた CloudTrail Insights を利用することで、機械学習により異常なアクティビティを検出することもできます。 ログは S3 と CloudWatch Logs に転送でき、S3 に保管しているログは Athena により検索することもできます。 Athena を利用する場合は、事前に CloudTrail 用のテーブルを作成しておき、検索方法を習熟しておきましょう。 インシデントが発生してから習熟では対応が遅くな
AWS、コンテナにWebアプリを置くと簡単にデプロイが完了する「App Runner」リリース。オートスケール、ロードバランス、証明書の管理などすべておまかせ
AWS、コンテナにWebアプリを置くと簡単にデプロイが完了する「App Runner」リリース。オートスケール、ロードバランス、証明書の管理などすべておまかせ AWSは、コンテナに特化したWebアプリケーション実行環境のマネージドサービス「AWS App Runner」をリリースしました。 #AWS App Runner is a fully managed container application service that makes it easy for customers to build, deploy, and run containerized web applications and APIs without container or infrastructure experience.#Developer #CloudComputing https://t.co/eMw
[初心者向け]AWSの勉強を始めるためのリンク集(2023.5更新) | DevelopersIO
AWS認定トレーニング講師の平野@おんせん県おおいたです。 みんな、温泉入ってますかー？ （挨拶 2021年3月に公開した「AWSの勉強を始めるためのリンク集」ですが、今回新しい情報を追加して大幅リニューアルしました。 ひき続きご活用いただければと思います。 目次 1. 雰囲気を知る 2. やってみる 3. 楽しむ 4. 書籍を買う 5. 深める 6. 調べる 7. さらなる成長のために 8. 楽しく学び続けるヒント 1. 雰囲気を知る AWSを始める皆さんに、まず体験いただきたいのが「雰囲気を知る」ことです。AWSの背景や、AWSを活用するさいの考え方、どんなメリットがあるか等々、個別のサービスを学ぶ前に押さえておくことで、AWSを理解しやすくなりますし、ワクワクしていただけるかと思っています。 AWS Summit 講演ビデオ まずは、４つのビデオを紹介します。これらは AWS Sum
![[初心者向け]AWSの勉強を始めるためのリンク集(2023.5更新) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/610a3e784035c62a4897be14d5731115ca3690b2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fawsbeginner.jpg)
AWS アーキテクチャー図 構成図を自動生成するソリューションを紹介します | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社 の吉井です。 今回は AWS Perspective を紹介します。 Developers.IO を読んでくださっている方々はシステム担当者(アプリもインフラも)が多いと想像しています。 みなさまは詳細度、解像度の高低はあれどアーキテクチャー図を作成していることと思います。 個人的な意見ですが、作成ドキュメントの弱点は ”更新されないことがある” ことにあると考えています。 変更管理を細かく行っている企業ならそんな心配は要らないかもしれませんが、大抵の場合システム稼働日数が増えれば増えるほどドキュメントは置いてけぼりになりがちです。 それはある意味理解ができてドキュメントは無くてもシステムは動くので、システム構成変更時のドキュメント更新の優先度が下
Code シリーズ入門ハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年8月号 | Amazon Web Services
Amazon Web Services ブログ Code シリーズ入門ハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年8月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。少しずつ暑さも和らいできましたが、みなさまいかがお過ごしでしょうか？私は春先に始めたランニングを梅雨の長雨と夏の暑さを言い訳に中断していたのですが、やらない理由がなくなってしまったのでしぶしぶ再開しようかなと思っているところです。 さて、AWS Hands-on for Beginners シリーズの新コンテンツとして Code サービスハンズオン を追加しました。具体的には、 AWS CodeCommit AWS CodeBuild AWS CodeDeploy AWS CodePipeline の4つのサービスを主に
AWS Single Sign-On が東京リージョンで利用できるようになりました | Amazon Web Services
Amazon Web Services ブログ AWS Single Sign-On が東京リージョンで利用できるようになりました みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、 シニアアドボケイトの亀田です。 AWS Single Sign-On (SSO) が東京リージョンでご利用頂けるようになりましたのでお知らせいたします。 AWS SSO AWS SSOは複数の AWS アカウントとビジネスアプリケーションへのアクセスの一元的な管理を実現し、1か所からのシングルサインオンアクセスをユーザーに提供し、AWS Organizations にあるすべてのアカウントに対するアクセスとユーザーアクセス許可を簡単に一元管理することができます。AWS Organizationとの連携により、個々のAWS アカウントにおける追加のセットアップを必要とすることなく、アカウントに必要なア
AWS公式『現代的なウェブアプリケーションの構築』ハンズオンのハマリどころ - Qiita
AWSは、AWSのサービスを活用した実践的なハンズオンコンテンツを多数公開しており、 日本語化もされています。 アマゾン ウェブ サービス (AWS) の実践的チュートリアル https://aws.amazon.com/jp/getting-started/hands-on/ 社内向けにコンテナやAPI Gateway初学者向けのハンズオン教材を探していたところ、 ちょうどいいチュートリアルをみつけました。 現代的なウェブアプリケーションの構築 https://aws.amazon.com/jp/getting-started/hands-on/build-modern-app-fargate-lambda-dynamodb-python/ このチュートリアル、 ECS/Fargateを活用したコンテナアプリケーションの公開 Codeサービスを活用したCI/CDパイプラインの構築 Ama
Elasticsearchクラスタを再構築し、無停止で切り替えるベストプラクティス - Hatena Developer Blog
はてなブックマークチームのid:taraoです。はてなブックマークでは、以前はオンプレミスなElasticsearchクラスタを運用していましたが、AWS上にAmazon Elasticsearch Serviceのクラスタを構築して切り替えました。この切り替えではクラスタの再構築に限らず、アップグレードやマッピングの変更にも使える一般的な方法を採用しました。 この記事では、その具体的な方法を紹介します。 一般的な方法を採用したい目的と背景 検討したクラスタ再構築や切り替えの方法 1. ローリングアップグレード 2. スナップショット・リストア 3. クラスタ横断レプリケーション 4. Reindex API 5. アプリケーションコードによる再インデキシング 目的・条件による取りうる方法のまとめ 採用した再インデキシング手法の詳細 ダブルライトをどのように実現するか 非同期ダブルライトの
AWS IAMの最小権限追求の旅 - プログラマでありたい
皆さん、IAM使ってますか〜？ 今日は、IAMのベストプラクティスの中に呪縛のように存在する、最小権限をテーマに悩みを語ってみようと思います。 IAMでのセキュリティのベストプラクティス まずは、IAMのベストプラクティスの確認です。2020年7月現在では、17個存在しています。一番最後のビデオで説明するの唐突感以外は、どれも納得感がある内容で実践・遵守すべきです。 docs.aws.amazon.com AWS アカウントのルートユーザー アクセスキーをロックする 個々の IAM ユーザーの作成 IAM ユーザーへのアクセス許可を割り当てるためにグループを使用する 最小権限を付与する AWS 管理ポリシーを使用したアクセス許可の使用開始 インラインポリシーではなくカスタマー管理ポリシーを使用する アクセスレベルを使用して、IAM 権限を確認する ユーザーの強力なパスワードポリシーを設定
【2020年】AWS全サービスまとめ | DevelopersIO
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
実際に手を動かして学ぶ！AWS Hands-on for Beginners のご紹介 | Amazon Web Services
Amazon Web Services ブログ 実際に手を動かして学ぶ！AWS Hands-on for Beginners のご紹介 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。本日は、先日 11/6 に公開した「AWS Hands-on for Beginners」について紹介します。 みなさまは AWS のサービスを使い始めるときに、どのように学習をされていますか？私は日々、様々な業種のお客様とお話しさせてもらう機会があるのですが、その中で学習方法についてもご相談をいただくことがあります。キャッチアップの方法は様々あり、人によって最適な方法は違ってくると思うのですが、私個人のオススメ勉強方法は「実際に手を動かしてみる」ことです。実際にそのサービスを使ってみることで、構築の流れであったり、細かい機能であったりを知ることができ、机上で学んだ知識が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Timestream 所感 - moznion
Serverless Land
