「もう悩まない！機械学習モデルのデプロイパターンと戦略」を解説する動画を公開しました！ | Amazon Web Services
Amazon Web Services ブログ 「もう悩まない！機械学習モデルのデプロイパターンと戦略」を解説する動画を公開しました！ 「ML Max。こんばんは。」 ということで今回はシックなナレーションから始まりました、機械学習の価値を最大化するための解説動画、ML Enablement Series (※)の、 Amazon SageMaker 推論 Part3（前編）もう悩まない！機械学習モデルのデプロイパターンと戦略【ML-Dark-05】【AWS Black Belt】 を公開しました。 ※ ML Enablement Series とは、機械学習プロダクトにかかわる全ての人向けの機械学習の知識をお届けする Light パートと、機械学習のマネージドサービスを活用して MLOps を推進したいエンジニア向けの Dark パート から構成されており、週１回を目安に Light と
4年間のEKS移行の取り組みを振り返って | gihyo.jp
『家族アルバム みてね』（以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS
Kubernetes cluster upgrade: the blue-green deployment strategy | Amazon Web Services
Containers Kubernetes cluster upgrade: the blue-green deployment strategy This article was co-written by Michael Marie Julie and Quentin Bernard from TheFork, one of the leading online restaurant booking and discovery platforms in Europe and Australia. In loving memory of our dear colleague Olivier Lebhard. Introduction Context Kubernetes has become a new standard in our industry, with great built
OpenShiftのBlue/Greenクラスターアップグレードの方式を検討する（AWS編） - 赤帽エンジニアブログ
こんにちは、Red Hatでソリューションアーキテクトをしている北村です。 みなさん、OpenShiftのアップグレードしていますか？Kubernetesを運用する上で避けて通れないのがクラスターのライフサイクル管理です。Kubernetesは従来のプラットフォームよりもバージョンアップの頻度が多くサポート期間が短いので、定期的なバージョンアップ対応が必要になります。そしてそれはKubernetesのディストリビューションであるOpenShiftも同様です。 しかしクラスターアップグレードを実行する際、インフラの構成やアプリケーションの作り、マニフェストの設定などによってサービス断が発生する可能性があります。そのためサービスの可用性を最優先するためのアップグレード戦略として複数クラスターによるBlue/Greenアップグレードを採用するケースがあります。 とはいえBlue/Green構成を
EKS FargateのDatadog導入に躓いた話
はじめに Datadog導入するにあたってインフラメトリクスを取得するのに困難したので躓いたポイントをまとめて行きたいと思います。 Datadogのアーキテクチャ 以下KubernetesにDatadogを導入した際のアーキテクチャです。 公式には以下のようなことが記述されています。 Cluster Agent は、API サーバーとノードベースの Agent 間のプロキシとして機能します。これにより、API サーバーへの直接の負荷が軽減されるだけでなく、ノードベースの Agent はノードレベルのデータの収集に集中できます。一方、Cluster Agent はマスターノードからクラスターレベルのデータを収集します。Cluster Agent は、クラスターレベルのメタデータをノードベースの Agent に送り返すため、ローカルで収集されたメトリクスを、クラスター全体で一貫したタグを設定し
［速報］AWS Lambdaのコールドスタートを劇的に速くする「AWS Lambda SnapStart」発表。AWS re:Invent 2022
［速報］AWS Lambdaのコールドスタートを劇的に速くする「AWS Lambda SnapStart」発表。AWS re:Invent 2022 Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開幕しました。 毎年恒例となった月曜日夜に行われるイベント最初の大型セッション「Monday Night Live」には、AWS Utility Computing担当SVP Peter DeSantis氏が登壇。 Get out from the cold & warm up with faster startup times.#AWS Lambda SnapStart for Java delivers up to 10x faster startup performance without the added spend
Retty の Terraform CI/CD 解体新書 - Retty Tech Blog
Retty インフラチームの幸田です。 6月に実施したマイクロサービス強化月間で公開した記事では、マイクロサービス環境を Terraform を利用して刷新した話を書きました。 engineer.retty.me この記事では前回と重複する箇所もありますが、Terraform の CI/CD にフォーカスした内容を書こうと思います。 CI を整備するにあたって意識したこと 「誰でも」かつ「安全に」利用できるように CI 上ですべての作業を完結させる Pull Request によるレビュー環境の整備 バージョンアップ作業の完全自動化 Terraform のディレクトリ構成について リポジトリの運用フロー Terraform によるリソースの追加、変更、削除 tfmigrate によるステートファイルの操作 CI で実行される job について Pull Request をオープンした時 P
「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services
前半の章では、これらの各ステージの意義とTFXを用いた実装を主として取り扱っています。 第３章ではExampleGenを用いた構造化・非構造化データの取り込み方法とベストプラクティスが紹介されています。 それに加えて、取り込んだデータをトレーニング、評価、テスト用に分割する方法や、データセットのバージョン管理についても解説があります。 第４章ではTensorFlow Data Validation (TFDV)を用いてデータセットの検証を行っています。 TFDVを用いてデータから要約統計量を計算し、データセットを表現するスキーマを生成しています。また、スキーマを元に同じ種類の２つのデータセット間（学習データセットと検証データセットや別日に収集された学習データセット）の差が許容されるものであるかをチェックしたり、TFDVを用いてデータセットを選択した特徴量でスライスし、データセットのバイアス
[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ | DevelopersIO
[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ 柔軟なDistributionの設定変更が難しかったCloudFrontで継続的デプロイがサポートされました。ステージング用Distributionを作成し一定量のリクエストを割り振って動作確認をしたあと、本番環境に昇格させるデプロイが行えます！ はじめに 清水です。AWSのCDNサービスであるAmazon CloudFrontにContinuous Deployment（継続的デプロイ）機能がやってきました！本日（日本時間2022/11/19、現地時間2022/11/18）AWS Blogsにポストされたアップデートについてお届けします！！ Use CloudFront continuous deploymen
![[NEW] Amazon CloudFrontでStaging Distributionを使ったContinuous Deployment（継続的デプロイ）がサポートされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/17d6fdb640a27970efada177996eba4546025db8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-cloudfront.png)
マネコン起動もできるAWSのスイッチロール用CLIツール「AWSume」の紹介 | DevelopersIO
プロファイル指定したマネジメントコンソールの起動までできる、コマンドラインツールです。全AWSユーザーが求めていたのはこれなんじゃないでしょうか。どすこい。 「スイッチロールからの作業、AWSのベストプラクティスだけれどツールの設定がめんどくさいよね」 ハマコー、最近会社のパソコンをIntel MacからM1 Macに切替たことがきっかけで、いろんなツールを再度セットアップしてました。 普段AWS触っている身としてはスイッチロールして作業する環境も必須なので、改めて最新ツールを物色していたところ、弊社技術番長の岩田御大に教えてもらったAWSumeというツールが圧倒的に便利だったので、前のめりに紹介します。 標準公式のconfigとcredentialファイルのみで動作し、別途設定ファイルは不要 コマンドラインから、プロファイル名の自動補完に対応 指定したプロファイルから、マネジメントコンソ
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ この記事はMLOps foundation roadmap for enterprises with Amazon SageMakerを翻訳したものです。 企業が組織全体で機械学習 (ML)の採用を進めるにつれて 、MLモデルの構築、学習、デプロイのための手動ワークフローがイノベーションのボトルネックになる傾向にあります。これを克服するために、企業はデータサイエンティスト、データエンジニア、MLエンジニア、IT、ビジネス関係者などの複数のペルソナがどのように協業すべきか、懸念事項、責任、スキルをどのように分離するか、AWSのサービスをどのようにして最適に使用するかなどについて明らかにし、明確な運用モデルを構築する必要があります。 このようなMLと運用
Amazon EKS が Kubernetes 1.24 のサポートを開始 | Amazon Web Services
Amazon Web Services ブログ Amazon EKS が Kubernetes 1.24 のサポートを開始 この記事は Amazon EKS now supports Kubernetes version 1.24 (記事公開日: 2022 年 11 月 15 日) を翻訳したものです。 Amazon Elastic Kubernetes Service (Amazon EKS) チームは、Amazon EKS および Amazon EKS Distro の Kubernetes バージョン 1.24 のサポートを発表できることを嬉しく思います。私たちは、お客様に「Stargazer」リリースのパワーを体験していただくことを楽しみにしています。Kubernetes の各リリースには、リリースチームによって名前が付けられています。チームはこのリリースに「Stargazer」を
Karpenterでなにがうれしいのか試してみた！ - Qiita
Kapenterとは？ Kapenterは、新しいKubernetes クラスターオートスケーラーの アドオンです。 AWSが主体となって開発しているOSSで、re:Invent 2021 で GAになりました。 「Amazon Web Services ブログ」では、Kapenterがどんなものか、以下のように説明しています。 karpenter は、アプリケーションのニーズを満たすジャストインタイムのコンピューティングリソースを提供し、間もなくクラスターのコンピューティングリソースのフットプリントを自動的に最適化して、コストを削減し、パフォーマンスを向上させます。 説明を読んでも、何がどう変わるのか具体的にピンとこなかったので、実際に動かして試してみることにしました 今回は、Kapenter 0.5.3で検証しています。 Kubernetes オートスケールのしくみ Kapenterに
AWS、全世界から利用できるNTPサーバーを公開
米Amazon Web Servicesは、全世界から利用できるNTP（Network Time Protocol）サーバーを11月10日（現地時間）に公開した。同社は「Amazon Time Sync」という名称でEC2（Elastic Compute Cloud）インスタンスに時刻情報を送信するサービスを提供しているが、今回は時刻情報を送信する対象を全世界のコンピューターに拡大した。 AWSが提供を開始したNTPサーバーを利用するには、コンピューターの時刻設定で「time.aws.com」というNTPサーバーを参照するように設定すればよい。料金は発生しない。AWSはIoT端末や、オンプレミスのサーバーなど、AWSサービスと連携している端末で使用することで、AWSサービスと共通の時刻で運用できる利点があるとしている。 Amazon Time Syncは、衛星につながった原子時計を使用した
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022
YubiKeyでCLI環境でのAWS MFA認証を楽にする
バッチシステムをクラウドネイティブにするために考えたこと
AWS上に構築したマイクロサービスに対する効率的な性能・負荷テストの実行方法
Kubernetes Cluster Autoscaler vs Karpenter
あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすることで利便性と料金のバランスをとるのである これは公式ドキュメントにすべき https://t.co/RE4FmPCpJX"
