並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 89件

新着順 人気順

"spot instance"の検索結果1 - 40 件 / 89件

  • JP Contents Hub

    AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い

      JP Contents Hub
    • 経営と技術の両面でクラウド移行を語るDeNA南場会長の説得力

      2021年5月11日、AWSジャパンは年次イベント「AWS Summit Online」を開催した。昨年に続いてオンライン開催となったイベントの基調講演では、約3000台規模のオンプレシステムを3年かけてクラウドに移行したDeNAの南場智子取締役会長が登壇。経営と技術の両面で大規模な移行プロジェクトを振り返った講演は、なぜクラウドに移行するのかという疑問に対する圧倒的な説得力を感じられた。 決め手は「インフラエンジニアが創造的な仕事にシフトできる」こと AWS Summit Onlineの基調講演に登壇した南場氏は冒頭、「DeNA migrate」というスライドを高らかに掲げ、オンプレミスからAWSクラウドへの移行完了を宣言。対象となったシステムは大小合わせて300あまりで、毎秒数十万、1日で50億リクエストを受ける規模だ。もちろんデータはペタバイト級で、サーバー台数は約3000台となる。

        経営と技術の両面でクラウド移行を語るDeNA南場会長の説得力
      • クックパッドの検索反映時間を 1/288 にしたシステム改修 - クックパッド開発者ブログ

        こんにちは。レシピ事業部の新井(@SpicyCoffee)です。 クックパッドではこれまで、レシピを投稿してから検索結果に反映されるまで最長で 24 時間程度の時間がかかっていました。今回、この時間を 5 分程度、最長でも 10 分程度に短縮することに成功しました。本記事では、プロジェクトオーナーの立場で関わった私が代表してその開発について紹介します。 プロジェクトの目的と数値目標 本プロジェクトでは上記の「レシピを投稿してから検索結果に反映されるまでの時間短縮」が目的とされました。しかし、時間短縮といっても現状 24 時間であるものを "1 時間" にするのか、"1 分" にするのか、"1 秒" にするのかでは話が全然違います。この数値目標は設計を始めとした後の意思決定に大きく影響を与えるため、しっかりとした意図を持った状態で明確に定めておく必要がありました。 そこで、私とプロダクトオー

          クックパッドの検索反映時間を 1/288 にしたシステム改修 - クックパッド開発者ブログ
        • Amazon Athena を使ったセキュリティログ検索基盤の構築 - クックパッド開発者ブログ

          こんにちは。技術部セキュリティグループの水谷(@m_mizutani )です。最近はFGOで一番好きな話がアニメ化され、毎週感涙に咽びながら視聴しています。 TL;DR これまでセキュリティログ検索にGraylogを使っていたが、主に費用対効果の改善のため新しいセキュリティログ検索基盤を検討した 自分たちの要件を整理し、Amazon Athenaを利用した独自のセキュリティログ検索基盤を構築した まだ完全に移行はできていないが対象ログを1ヶ月間分(約7.5TB1)保持してもコストは1/10以下である3万円に収まる見込み はじめに セキュリティグループでは日頃、社内ネットワークやPC環境、クラウドサービスに関連するセキュリティアラートに対応するセキュリティ監視業務を継続しておこなっています。アラートに対応する時に頼りになるのはやはり様々なサービスやシステムのログで、そのアラートに関連したログ

            Amazon Athena を使ったセキュリティログ検索基盤の構築 - クックパッド開発者ブログ
          • ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services

            Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ

              ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services
            • レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ

              こんにちは、会員事業部の新井です。余暇を全て Auto Chess に喰われています。 過去このブログにはサービス開発に関する記事*1を投稿させていただいているのですが、今回はシステム改修についての記事になります。 クックパッドには検索バッチと呼ばれる大規模なバッチが存在するのですが、今回それを刷新することに成功しました。 そこでこの記事では旧システムに存在していた問題点、新システムの特徴や実際の開発について述べたいと思います。 背景 クックパッドのレシピ検索では Apache Solr を検索サーバーとした全文検索を利用しています。古くは Tritonn を利用して MySQL に作られた専用 table を対象に全文検索を実行していたようですが、その頃から「検索バッチ」と呼ばれるバッチが存在していました。 このバッチは、簡単に言うと「検索インデックス」と呼ばれる検索用メタデータを生成す

                レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ
              • AWS EC2をゲーミングPCとして150時間プレイした感想 – icecream

                今年の2月から、Division, Division2 をAWSのEC2上でリモートでプレイした感想と現時点で期待することについて。 2020/3/12 追記 こんな記事書いておいてですが、今は2020年6月リリース予定のGeforce Nowを利用したほうが、簡単で安くて良いです!Google Stadiaも日本に上陸するでしょうし! そもそも 本サイトの別記事で書いていますが、そもそもは、それほどゲーマーではない自分がちょっぴりPCゲームをやりたくて、AWS上のマシンでゲーム出来ないか、と思い立ったのが始まりです。 現時点では、Azure, GCEでも考えましたが料金的にAWSが一番良さそうでした。 技術的なこと AWSはDirectXが利用可能なGPUタイプのマシンが存在し、基本的にはゲーミングPCとして利用可能です。 しかし、画面の転送方式が問題で、Windowsのリモートデスクト

                • 「進化し続けるインフラ」でありたい リクルートのAWS基盤チームによるマルチアカウント管理

                  AWSマルチアカウント事例祭りとは、AWSを活用する複数社が集まりお話しする祭典です。株式会社リクルートの須藤氏からは基盤の権限設定からコスト配賦、リアルタイム監視まで、マルチアカウント管理に必要なことについて共有されました。 クラウドの恩恵をプロダクトに届けることをミッションに 須藤悠氏(以下、須藤):では『「進化し続けるインフラ」のためのマルチアカウント管理』について発表いたします。私、須藤と申しまして、好きなAWSのサービスはFargateとOrganizationsです。ただOrganizationsは使い倒すっていうほど使いこなせてはいない状況です。 HashiCorpのプロダクトが好きでして、TerraformとかTerraform Enterpriseがとても好きです。あと猫とかピザが好きで、猫とピザの、(着ているTシャツを指し)このおもしろTシャツを着てたりします。 所属は

                    「進化し続けるインフラ」でありたい リクルートのAWS基盤チームによるマルチアカウント管理
                  • Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ

                    技術部 SRE グループの @s4ichi です。ここ最近は本業に加えて Overwatch2 のヒーローとして戦いに明け暮れています。救わなければならないレートがある。 GitHub flow に従った開発では GitHub Actions が非常に便利です。特に最近では CI 用途だけでなく、ソフトウェアのデリバリーなども Actions で完結させる事例も見かけます。しかしながら、クックパッド社内では GitHub Enterprise Server を使っているため、GtiHub Actions の利用には self-hosted runnner の利用が不可欠になっています。 そこで、社内では Amazon ECS 上に ephemeral で汎用的な self-hosted runner を提供しています。実行する job の数に応じた autoscaling を備え、runn

                      Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ
                    • AWSを活用してゲームサーバーのコストを劇的に下げる––スポットインスタンスを効果的に使うための基礎知識

                      2019年7月24日、『神姫PROJECT』などソーシャルゲームの企画・開発を手がける株式会社テクロスが主催するイベント「TECH x GAME COLLEGE」が開催されました。第23回となる今回のテーマは「AWSでゲームサーバーを最大90%安く利用する方法」。アマゾン ウェブ サービス ジャパン株式会社シニアソリューションアーキテクトの吉田英世氏が、ゲームサーバーの運用コストを劇的に安くするAWS活用法を解説します。前半パートとなる今回は、Amazon EC2の大幅なコスト削減を実現するスポットインスタンスの概要と、それをゲームに活用する上での知見を語ります。講演資料はこちら AWSでゲームサーバーを最大90%安く利用する方法 吉田英世氏:みなさん、こんばんは。私はAmazonのソリューションアーキテクトという部署にいまして、ゲームのお客様を主に担当している技術者です。AWS上でどうい

                        AWSを活用してゲームサーバーのコストを劇的に下げる––スポットインスタンスを効果的に使うための基礎知識
                      • LIFULLを支えるKubernetesエコシステムまとめ 2020年版 - LIFULL Creators Blog

                        技術開発部の相原です。 以前にブログで書きましたが、LIFULLでは主要サービスのほぼ全てがKubernetesで稼働しています。 www.lifull.blog Kubernetesをアプリケーション実行基盤として本番運用するためにはデプロイやモニタリング・ログ、セキュリティなど考えることが多くどこから手を付ければよいか困ることがあるでしょう。 そこで今回は既に数年の運用実績のあるLIFULLのアプリケーション実行基盤で利用しているKubernetesエコシステムについて紹介します。 全て書くと数が膨大になるので今回はクラスタ周りを中心に、必要とするソフトウェアの数が多いモニタリング・ログまでとします。(それでも大作になりそうですが...) kubernetes/kops projectcalico/calico coredns/coredns node-local-dns kubern

                          LIFULLを支えるKubernetesエコシステムまとめ 2020年版 - LIFULL Creators Blog
                        • 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services

                          Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ

                            面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
                          • AWSの未使用リソースを発見し削除、マルチアカウント時代のコスト削減 | DevelopersIO

                            こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 みなさま、AWS 利用料金の削減はどのように行っていますでしょうか? 過剰なスペックを見直す、RI/SP、Spot Instance などの割引制度を使うなど色々ありますが 一番てっとり早く削減効果を出せるのは 使っていないリソースを削除すること だと考えます。 管理している AWS アカウント数が少なければ Trusted Advisor や Billing からチェックすることが可能ですが、アカウント数が増えてくるとこの方法だと厳しくなります。 nOps を使うと AWS 利用料金を可視化しながら未使用リソース削減が簡単に実現できそうなので試してみました。 nOps セットアップ nOps のセットアップはこちらのエントリを参照

                              AWSの未使用リソースを発見し削除、マルチアカウント時代のコスト削減 | DevelopersIO
                            • がんばらないスポットインスタンス運用 / Spot-instance-Matsuri

                              秋のスポットインスタンス祭り ~ そろそろクラウドネイティブなコスト最適化はじめてみませんか? 発表資料です https://awsj-compute.connpass.com/event/192302/

                                がんばらないスポットインスタンス運用 / Spot-instance-Matsuri
                              • オンラインサービスをECS on Spot Instanceで構築&運用した - Gunosy Tech Blog

                                広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率

                                  オンラインサービスをECS on Spot Instanceで構築&運用した - Gunosy Tech Blog
                                • 人間によるKubernetesリソース最適化の”諦め”とそこに見るリクガメの可能性 | メルカリエンジニアリング

                                  Platformチームでエンジニアをしているsanposhihoです。メルカリのPlatformチームでオートスケーリング周りの課題の解決を担当しており、Kubernetes UpstreamでもSchedulingやAutoscaling周りの開発に参加しています。 メルカリでは全社的にFinOpsに取り組んでおり、Kubernetesリソースは最適化の余地があるエリアです。 メルカリではPlatformチームとサービスの開発チームで明確に責務が分かれています。Platformではサービス構築に必要な基礎的なインフラストラクチャを管理し、それらを簡単に扱うための抽象化された設定やツールなどの提供を行っています。サービスの開発チームは、それらを通してサービスごとの要件に応じたインフラストラクチャの構築を行います。 サービスやチームの数も多く、そのような状況での全社的なKubernetesリ

                                    人間によるKubernetesリソース最適化の”諦め”とそこに見るリクガメの可能性 | メルカリエンジニアリング
                                  • AWS のコスト統制の道 - freee Developers Hub

                                    SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の16日目になります。 今回は AWS の コスト統制についてお話させて頂きたいと思います。 先日「 AWS の組織移行をしました 」という記事の中で AWS の組織移行のために SRE 統制チームが発足されたと紹介しました。実はこのチームは AWS のコストについても責務を負っています。つまりコストの統制も含まれているということになります。 課題 AWS のコストがずっと上がり続けています。 freee は組織として、また提供しているサービスはまだまだ成長している段階です。その分利用が増えて、AWS のコストが上がること自体は特段問題ではないと思います。 ただ、確度の高い状態で「今のコストは必要なコストです」と言えるかというとそうではありません。 実は SRE はこれまで明確にコストコント

                                      AWS のコスト統制の道 - freee Developers Hub
                                    • Scaling containers on AWS in 2022

                                      This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t

                                        Scaling containers on AWS in 2022
                                      • スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog

                                        スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s

                                          スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
                                        • AWS OSS製の高速Cluster Autoscaler Karpenter | Recruit Tech Blog

                                          今回の記事はリクルートアドベントカレンダー2021の10日目の記事です。 こんにちは。スタディサプリ ENGLISH SREグループの木村です。 re:Invent2021で AWS OSS製のCluster Autoscaler KarpenterがProduction readyになったことをがアナウンスされました。 『スタディサプリENGLISH』では基盤にkubernetesを採用しており、今回導入ができないか検証をした記録です。 1)現在はauto scalingにはspotを利用しており別途記事になっているので興味があればこちらも参照ください Karpenterとは? 公式の説明では下記のように説明されています。 Karpenter automatically launches just the right compute resources to handle your cl

                                            AWS OSS製の高速Cluster Autoscaler Karpenter | Recruit Tech Blog
                                          • インスタンスを安く使える「Azure Spot Virtual Machines」発表。クラウドの空きキャパシティを安価に提供

                                            インスタンスを安く使える「Azure Spot Virtual Machines」発表。クラウドの空きキャパシティを安価に提供 マイクロソフトは、クラウドで余っている空きキャパシティを安価に提供する「Azure Spot Virtual Machines」を発表しました。 Azure Spot Virtual Machines provide access to unused #Azure compute capacity at deep discounts. Read to learn more: https://t.co/SbzsuD0eDP pic.twitter.com/yfs7C6cBa4 — Microsoft Azure (@Azure) December 12, 2019 クラウドでは基本的にいつでも仮想マシンをプロビジョニングし、利用を開始することができます。つまりクラウ

                                              インスタンスを安く使える「Azure Spot Virtual Machines」発表。クラウドの空きキャパシティを安価に提供
                                            • コスト削減に期待!ECS on EC2 でスポットインスタンスの利用を考える | DevelopersIO

                                              もちろんスポットインスタンスは価格が変動しますので、常に 70% 削減であることは約束されませんが、とても魅力的な価格ではないでしょうか? また、当該インスタンスにおいては執筆時点では 70% 削減となっていますが、インスタンスタイプによっては最大 90% 削減もあり得ます。 スポットインスタンスの価格って荒ぶるときあるやん? 「大量にスポットインスタンスがリクエストされると、オンデマンド料金より高くなることありますよね?」 いいえ、それは古い認識ですのでココで知識をアップデートしておきましょう。 re:Invent 2017 の会期中にリリースされたアップデートにより、スポットインスタンス価格は緩やかな変動となるように改善されています。 また、現在ではスポットインスタンスの価格が、オンデマンド価格の 90% を超えることはありません。 Amazon EC2 は、需要と供給に基づいて定期的

                                                コスト削減に期待!ECS on EC2 でスポットインスタンスの利用を考える | DevelopersIO
                                              • 週刊AWS – 2021/10/18週 | Amazon Web Services

                                                Amazon Web Services ブログ 週刊AWS – 2021/10/18週 みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 昨今「サーバーレス」という言葉は広く認知されるようになってきたのではと思っていますが、単語は知っているがまだ実際にサーバーレスのシステム構築をしたことはないという方も多いのではないでしょうか。そういう方にピッタリな「はじめてのサーバーレス ハンズオン」が11月2日にオンライン開催されます。 – はじめてのサーバーレス ハンズオン AWS Lambda、Amazon API Gateway、Amazon DynamoDB、Amazon Cognitoを組み合わせたハンズオンを体験できます。ご興味がある方は上記リンクからお申込みください。 それでは、先週の主なアップデートについて振り返っていきましょう。 202

                                                  週刊AWS – 2021/10/18週 | Amazon Web Services
                                                • ブログと Web サイトをオーバーホールした

                                                  一部の人には気付かれていたと思うんですが、diary.sorah.jp と blog.sorah.jp が長い間ダウンしていました。復旧させるのも腰が重く 2 年くらい放置していて (その間にも一瞬手を入れたりはしていたけど持続せず)、11 月に入っていろいろな家事をしていてその一環でようやく復活に至ったので報告します。 先に結果として書くと、sorah.jp 含めて Next.js 13 (SSG) になりました。裏に https://github.com/sorah/kozeki というちょっとしたソフトウェアがいて、Markdown ファイル群を処理させています。 なんで復旧の腰が重かったのか ブログはこれまで sorah/days - Rack アプリをデプロイしていました。サーバーフル! まずこのアプリ自体が ActiveRecord + Sinatra という構成になっていて

                                                  • 2023年のふりかえり - laiso

                                                    TL;DR 2023年に学んだ知識で2024年はマネーを獲得 2022年のふりかえり 2023年にやったこと After ChatGPT ChatGPTの使い方 コーディング自動化 アプリケーション開発 クラウドプラットフォーム関連 技術系の動画 フレームワーク関連 AWSコスト最適化大作戦 オライリー本 メインエディタをVSCodeに乗り換えた AndroidからiPhone 15 Proに乗り換えた OSSへの寄付 2023年にやりたかったこと 2024年にやりたいこと LLMを活用したアプリケーションを開発する 技術書を書く ニュースレターを配信する 動画を作る 事業を作る 2022年のふりかえり laiso.hatenablog.com laiso.hatenablog.com 2023年にやったこと After ChatGPT Chat Completions APIのリリースを

                                                      2023年のふりかえり - laiso
                                                    • Deep Dive on Amazon ECS Cluster Auto Scaling | Amazon Web Services

                                                      Containers Deep Dive on Amazon ECS Cluster Auto Scaling Introduction Up until recently, ensuring that the number of EC2 instances in your ECS cluster would scale as needed to accommodate your tasks and services could be challenging.  ECS clusters could not always scale out when needed, and scaling in could impact availability unless handled carefully. Sometimes, customers would resort to custom to

                                                        Deep Dive on Amazon ECS Cluster Auto Scaling | Amazon Web Services
                                                      • 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services

                                                        Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの卜部です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年10月15日にオンラインで開催された AWS AI/ML@Tokyo #7では、AWS ソリューションアーキテクトより、AWSにおけるMLOpsプロセス実装のベストプラクティスや ML CI/CD環境の構築についてお話ししました。また、お客様活用事例として、株式会社コナミデジタルエンタテインメント様、ヤフー株式会社様 におけるAmazon SageMakerの事例をお話しいただきました。 「AWS で構築する MLOps 基盤」

                                                          【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services
                                                        • (Almost) Every infrastructure decision I endorse or regret after 4 years running infrastructure at a startup

                                                          Image from UnSplash I’ve led infrastructure at a startup for the past 4 years that has had to scale quickly. From the beginning I made some core decisions that the company has had to stick to, for better or worse, these past four years. This post will list some of the major decisions made and if I endorse them for your startup, or if I regret them and advise you to pick something else. AWS Link to

                                                          • SRE Lounge #11 で「安定・安価なECS auto scalingを目指して」を発表しました

                                                            SRE Lounge #11 で Repro で行っている ECS の auto scaling について発表しました。ECS autoscaler で工夫している点についてがメインですが、一般的な auto scaling にも使える知見もあるかと思います。 補足 時間の都合上、発表で言及しなかったこともあるので補足です。 ECS_ENABLE_SPOT_INSTANCE_DRAINING について 発表でも軽く触れましたが、ecs-agent 1.32.0 以降を使っている場合、ECS_ENABLE_SPOT_INSTANCE_DRAINING パラメータに true を指定することで、spot instance の interruption warning (notice) を受け取った場合に勝手に draining 状態にしてくれます。 cf. Amazon ECS support

                                                              SRE Lounge #11 で「安定・安価なECS auto scalingを目指して」を発表しました
                                                            • Amazon ECS supports Automated Draining for Spot Instances running ECS Services

                                                              Amazon Elastic Container Service (ECS) supports Automated Spot Instance Draining, a new capability that reduces service interruptions due to Spot termination for ECS workloads. This feature will enable ECS customers to safely manage any interruptions of ECS tasks running on Spot instances due to termination of the underlying EC2 Spot instance. Automated Spot Instance Draining will automatically pl

                                                                Amazon ECS supports Automated Draining for Spot Instances running ECS Services
                                                              • The Best GPUs for Deep Learning in 2023 — An In-depth Analysis

                                                                OverviewThis blog post is structured in the following way. First, I will explain what makes a GPU fast. I will discuss CPUs vs GPUs, Tensor Cores, memory bandwidth, and the memory hierarchy of GPUs and how these relate to deep learning performance. These explanations might help you get a more intuitive sense of what to look for in a GPU. I discuss the unique features of the new NVIDIA RTX 40 Amper

                                                                  The Best GPUs for Deep Learning in 2023 — An In-depth Analysis
                                                                • グノシーのパーソナライズアルゴリズムを刷新した話 (アーキテクチャ編) - Gunosyデータ分析ブログ

                                                                  こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 前回の記事に引き続き、グノシーのパーソナライズアルゴリズムを刷新した話について、アーキテクチャの部分を説明したいと思います。 前回の記事から読んでもらえると、パーソナライズの全体像が見えるのでおすすめです。 data.gunosy.io パーソナライズに求められるレスポンスタイム アーキテクチャ ユーザーと記事のベクトル生成とデータストアへの保存 ユーザーリクエストに対し適切な記事リストを生成する処理 どれくらい高速なのか おわりに パーソナライズに求められるレスポンスタイム 前回の記事ではモデルの学習方法やオフラインでの実験などをメインに説明してきましたが、オンラインで実際にA/Bテストするときに考えなければいけないのがレスポンスタイムです。 ユーザーに対して完璧にクリック非クリ

                                                                    グノシーのパーソナライズアルゴリズムを刷新した話 (アーキテクチャ編) - Gunosyデータ分析ブログ
                                                                  • ECSでスポットインスタンスの中断を自動でDraining出来るようになりました | DevelopersIO

                                                                    もこ@札幌オフィスです。 ECSのアップデートでスポットインスタンスを利用したECSインスタンスが中断時に自動でDraining出来るようになりました! Amazon ECS が ECS サービスを実行しているスポットインスタンスの自動ドレインをサポート やってみた ごく一般的なALB, ECS環境を作りました。(略) 接続環境は ALB → TargetGroup → EC2(Container) を想定しています。 Launch Templateを利用して数クリックでサクサクっとSpot Fleetを展開していきたいので、今回はLaunch Templateを使って行きます。 尚、環境構築はTerraformを利用しましたが、現時点で aws_spot_fleet_request を利用してLaunch Templateから起動することが出来なかったため、Spot Fleetの構築はマ

                                                                      ECSでスポットインスタンスの中断を自動でDraining出来るようになりました | DevelopersIO
                                                                    • Awesome AWS Workshops - Build On!

                                                                      Awesome AWS Workshops¶ (Unofficial) Curated list of awesome workshops found around in the internet. As we all have been there, finding that workshop that you have just attended shouldn't be hard. The idea is to provide an easy central repository, in a collaborative way. Contributing¶ Your contributions are always welcome! Please take a look at the contribution guidelines first. We will keep pull r

                                                                        Awesome AWS Workshops - Build On!
                                                                      • AWS再入門ブログリレー AWSについて振り返ってみよう! 編 | DevelopersIO

                                                                        ご機嫌いかがでしょうか、豊崎です。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の1日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう!という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。1日目のテーマは『AWS』です。 そもそもAWSとはなに?というかた向けにAWSに対する再入門から始めていきたいと思います。 目次 目次

                                                                          AWS再入門ブログリレー AWSについて振り返ってみよう! 編 | DevelopersIO
                                                                        • Building a serverless Jenkins environment on AWS Fargate | Amazon Web Services

                                                                          AWS DevOps Blog Building a serverless Jenkins environment on AWS Fargate Jenkins is a popular open-source automation server that enables developers around the world to reliably build, test, and deploy their software. Jenkins uses a controller-agent architecture in which the controller is responsible for serving the web UI, stores the configurations and related data on disk, and delegates the jobs

                                                                            Building a serverless Jenkins environment on AWS Fargate | Amazon Web Services
                                                                          • Amazon EKS now supports provisioning and managing EC2 Spot Instances in managed node groups | Amazon Web Services

                                                                            Containers Amazon EKS now supports provisioning and managing EC2 Spot Instances in managed node groups This post was contributed by Ran Sheinberg, Principal Solutions Architect and Deepthi Chelupati, Sr Product Manager Amazon Elastic Kubernetes Service (Amazon EKS) makes it easy to run upstream, secure, and highly available Kubernetes clusters on AWS. In 2019, support for managed node groups was a

                                                                              Amazon EKS now supports provisioning and managing EC2 Spot Instances in managed node groups | Amazon Web Services
                                                                            • 【レポート】Amazon ECSとKafka Streamsを活用した低コストで高機能なストリーミングアプリケーションの構築 #AWSSummit | DevelopersIO

                                                                              【レポート】Amazon ECSとKafka Streamsを活用した低コストで高機能なストリーミングアプリケーションの構築 #AWSSummit DA事業本部の春田です。 AWS Summit Online絶賛開催中!ということで、本記事では「CUS-47: Building Semi-Realtime Processing System with Kafka and Kafka Streams on Amazon ECS」の内容についてまとめていきます。 セッション情報 Repro 株式会社 CTO 橋立 友宏 氏 より短かいスパンでより大規模な情報を分析可能にすることが求められる現代のデータ基盤を実現するため、Amazon ECS と Kafka Streams フレームワークを活用して低コストで高機能なストリーミングアプリケーションを構築するノウハウについて解説します。 ※セッショ

                                                                                【レポート】Amazon ECSとKafka Streamsを活用した低コストで高機能なストリーミングアプリケーションの構築 #AWSSummit | DevelopersIO
                                                                              • 【レポート】Fargate Spot について理解する – Deep Dive on Fargate Spot(CON311) #reinvent 2019 | DevelopersIO

                                                                                こんにちは、札幌在住 AWS 事業本部 オペレーション部(通称オペ部)の池田です。 今回は re:Invent 2019 のセッション Deep Dive on Fargate Spot(CON311)のセッションスライドから読み取った内容についてご紹介します。 セッションについて タイトル Deep Dive on Fargate Spot(CON311) 発表者 Abhijeet Tirthgirikar, Sr. Software Development Engineer, Amazon Web Services Wen Xiao, Software Development Engineer, Amazon Web Services 概要 With the ability to leverage Spot on AWS Fargate, customers can now get t

                                                                                  【レポート】Fargate Spot について理解する – Deep Dive on Fargate Spot(CON311) #reinvent 2019 | DevelopersIO
                                                                                • 「Azure」や「GCP」が安くなる主な割引プログラムとは?

                                                                                  関連キーワード Google | 仮想マシン(VM) | Microsoft Azure | クラウドサービス | 導入・運用のコスト感 大手クラウドベンダーのAmazon Web ServicesとMicrosoft、Googleは、仮想マシン(VM)サービスをはじめとするクラウドサービスの利用料金の割引プログラムを提供している。AWSの割引プログラムを紹介した前編「AWSが安くなる「リザーブドインスタンス」「スポットインスタンス」「Savings Plans」とは」に続く本稿は、「Microsoft Azure」「Google Cloud Platform」の主な割引プログラムと適用条件を説明する。 Microsoft Azureの割引プログラム Azure Reserved VM Instances 「Azure Reserved VM Instances」(RIs)は、Azureの

                                                                                    「Azure」や「GCP」が安くなる主な割引プログラムとは?