AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に AWSが2016年に発表した、100ペタバイトのストレージを備えたトラックで顧客のデータセンターからデータを吸い上げるAWS Snowmobileのサービスが終了したことが明らかになりました。 米CNBCの取材に対してAWSの広報がサービスが終了したことを認めました。 AWS stops selling Snowmobile truck for cloud migrations - CNBC 現時点でクラウドへのデータ転送を物理デバイスで行う「AWS Snow」ファミリーのサービスには、AWS SnowconeとAWS Snowballの2つのデバイスがリストされていますが、AWS Snowmobileの名前はすでに消えていました。 エクサバイト級のデータ転送のために登場したAWS S

AWSはこれまで、外部へのデータ転送料金の高さを競合ベンダから何度か非難されてきました。AWSにデータを蓄積すればするほど他社クラウドへ移行する際のデータ転送料金が高額になるため、顧客のデータを人質にしていると指摘されていました。 そのAWSが今日、他社のクラウドへ移行する際にはインターネットへのデータ転送料金を無料にすると発表しました。 ブログ「Free data transfer out to internet when moving out of AWS」（AWSから移行する際にはインターネットへの転送料金を無料にします）では、AWSは幅広いサービスを提供しており顧客はそれらを自由に選べるが、その選択肢には他社のサービスも含まれるべきだとして、次のようにデータ転送量の無料化を発表しました。 That’s why, starting today, we’re waiving data

Amazon Web Services ブログ 【開催報告】プラットフォームエンジニアリングって何？〜基本から AWS での実現方法について〜 みなさんこんにちは！アマゾンウェブサービスジャパン合同会社 ソリューションアーキテクトの後藤です。 2024 年 2 月 29 日に AWS オンラインセミナー「プラットフォームエンジニアリングって何？〜基本から AWS での実現方法について〜」を開催しました。 本イベントは、プラットフォームエンジニアリングの基本的な概要と現状について解説した上で、SRE や DevOps との関連性、どんな課題をどう解決するのか、実装するとなれば、AWS でどう実現するのかといった点についてご紹介させていただきました。400 名を超える多くの方々にご参加いただきました。ご参加いただいた皆様、誠にありがとうございました！ アジェンダ AWS メンバーから、プラット

「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/

垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。

https://enog.jp/archives/2828 ENOG81で発表したスライドです。

We are excited to announce streaming API support for Amazon CloudWatch Logs Live Tail, making it possible to programmatically view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested within your own custom applications or dashboards inside or outside of AWS. Live Tail console has been providing customers a rich out-of-the-b

エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3

ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です！ https://yuru-sre.connpass.com/event/292063/

はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク

クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ！ コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew

AWSアーキテクチャを考えるときに大事なこと(AWS Summit 2023 アーキテクチャ道場 2023！レポート)AWSアーキテクチャベストプラクティスAWS_記事投稿キャンペーンAWSsummit2023 はじめに この記事はAWS Summit 2023の4/21(金)に発表された[AWS-28]アーキテクチャ道場 2023！のレポートです。 私はAWS Summitのコンテンツの中でアーキテクチャ道場が一番好きなのですが、今年のSummitでもやはり学びが多かったです！ 熱が冷めないうちに今後の自分に向けた備忘録として残しておこうと思います。 今回のアーキテクチャ道場 2023！の中では2つのお題(マルチプレイ可能なオンラインゲーム、モバイル通信事業者のユーザー管理サービス)があり、それぞれについてAWSのソリューションアーキテクトの方が設計し、レビューワーの方がフィードバックす

はじめに お久しぶりです。 本ブログは 「AWS App Runner Advent Calendar 2022 17日目の投稿」となります。 このアドベントカレンダーでは、2022年のAWS App Runnerアップデート振り返りやAWS App Runner好きのエンジニアによる「動かしてみた」系の内容がたくさん投稿されており、筆者としても楽しく読ませてもらっています。 僕もAWS App Runner好きの一員として折角エントリーしてみたので、敢えて少し毛色の違ったトピックをご紹介します。 そのテーマはズバリ、「AWS App Runnerの正体を探る」です。 ちょっと何言っているのかわからない方も多いかも(?)しれませんが、しばしお付き合いください。 AWS App Runnerは何者なのか ~ 仮説を立てる AWSには「Building Block」という、ブロックを組み合わせ

みなさん、こんにちは。horsewinです。 AWS CDK Advent Calendar 2022 15日目の記事となります*1。 AWS CDK（以降、CDK）でKubernetes（k8s）のYAMLが記述できるライブラリである、AWS CDK for Kubernetes/cdk8sに触れていきます。 CDKの開発者体験でKubernetesマニフェストを作成できるため、YAMLでマニフェストを書くのに疲れた人は立ち寄ってみてください。 今回触れること、触れないこと 次の内容について、本エントリで述べていきます。 特に2022年に晴れて一般公開（GA）となったcdk8s+は、CDKらしさである抽象化が実現されているためオススメです。 触れること CDKで構築するKubernetesマニフェスト(cdk8s) より抽象的に記述できるcdk8s+について 触れないこと CDKの概要や

このブログは NewsPicks Advent Calendar 2022 1日目の記事です。 qiita.com NewsPicksのSREチームでリーダーをしている安藤です。 NewsPicksに入社して1年が経ちましたが、最近は円安により親の顔よりもAWS Cost Explorerを見る毎日です。 ということで、コストの話をしていきたいと思います。 NewsPicksでのコンテナ移行について ECS on EC2とは？ コンテナの実行環境としてFargate or EC2を選択する時の評価基準 実際、Fargateはどれだけ割高なの？ CPU性能の比較 コンピューティング料金の比較 パフォーマンスに対するコスト コストに対して、マネージドサービスのメリットが上回るか 終わりに NewsPicksでのコンテナ移行について NewsPicksでは、Amazon ECSによる全面コンテナ

JAWS UG 情シス支部 第28回 (https://jawsug-sysad.connpass.com/event/261308/) でお話しした、AWSのコスト管理 (Cloud Financial Management) の全体像についての資料です。 資料内のURL Amazon Web Services 企業導入ガイドブック https://www.amazon.co.jp/dp/4839970114 Baseline Environment on AWS (BLEA) https://github.com/aws-samples/baseline-environment-on-aws QuickSightを使った AWS Cost & Utilization Report (CUR)の可視化 https://aws.amazon.com/jp/premiumsupport/kn

JP Contents Hub自体の閲覧・利用は無料。ただしハンズオンはいずれもAWSのサービスを活用するものなので、利用に応じた料金が発生する。AWSジャパンは今後、新たにハンズオンを作成した場合には、順次JP Contents Hubに追加するという。 関連記事 AWS初心者向けの教材まとめ、AWS日本法人が公開 AWSジャパンが、AWSの初心者向け教材などをまとめたWebページを公開した。初学者やクラウド人材の育成を受け持つ人向けで、自社の教材などを全6段階の理解度別に紹介している。 AWS、オンラインゲームを遊んでソリューション構築を学ぶ「AWS Cloud Quest」公開　実際にプレイしてみた 米Amazon Web Servicesが、AWSでのソリューション構築を学べるオンラインRPG「AWS Cloud Quest: Cloud Practitioner」を無料公開」。W

はじめに お久しぶりです。最近は疎かになっていましたが、久々のブログ投稿となります。 今回はタイトルの通り、技術書典#13向けに「Amazon CloudWatch [本格]入門」を執筆しました。 本ブログにて少しご紹介できればと思います🚀 techbookfest.org 今回も表紙がかなりかわゆい感じになっていますが、内容はガチガチの技術書です。 書籍の位置付け 技術書典はかれこれ2019年にオンライン開催された技術書典8が初参加です。 その時はコンテナ(Amazon ECS / AWS Fargate)+CI/CDを主テーマにした「クラウドネイティブファーストストーリー」を執筆しました。 2年後の技術書典11にて、同じくクラウドネイティブシリーズ第2弾として「比べてわかる！IaCの選びかた」を世に送り出しました。 booth.pm booth.pm 今回の書籍は、そのクラウドネイテ

はじめに このツイートに結構反響があったので、雑になるがとにかく自分の考えをダンプする。もともと書いていた記事はうっかりやらかしてデータロストした、泣きたい。 話をわかりやすくするために、ALB+ECS（Fargate）を使ってWebAPIと対比して説明しているが現実はもっと複雑である。 引用リツイートをもらえた部分などについてもアンサーっぽいことも書いていく。 AWS利用費と人件費の話 AWS上にWebAPIを構築する際に、AWS利用費の削減をモチベーションとしてApiGW+Lambda構成が、採用されることがある。確かにAWS利用費は下がるがApiGW+Lambda構成を設計〜運用するためにはAWSに関する知識の中でもとくに専門的な知識が必要になる。こういった人材を雇用または外部へ発注し続けることは人件費に跳ね返ってくる。 ApiGW+LambdaがWebAPIのための構成として唯一無

NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A