※ 2020-12-22 追記あり はじめに この記事は GLOBIS Advent Calendar 2020 - Qiita 17日目の記事です。 GLOBIS SRE チームでは2020年初頭より、 Kubernetes (Amazon EKS) を用いたインフラ環境の全面的な刷新に取り組んでいます。この新たな環境では Infrastructure as Code で環境の9割はコード化するという目標を立てており、 Terraform を積極的に活用しています。 この記事では、そんな弊チームでの Terraform の使い方についてまとめていきます。書き始めたら書きたいことが湯水のように湧いてきてしまったので、FAQ形式でまとめてみました。気になるところを拾い読みしてみてください。 Terraform 全般 Q. Terraform で何を管理していますか AWS がメインの環境なの
［速報］「Amazon Fargate for Amazon EKS」正式発表。Kubernetes上の分散アプリケーションをマネージドなサーバレスとして自動運用。AWS re:Invent 2019
Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演において、「Amazon Fargate for Amazon EKS」を正式発表しました。 発表と同時に会場からはこの日もっとも大きな拍手が聞こえました。このサービスへの期待の大きさが示されたようです。 Kubernetes上の分散アプリケーションを簡単にサーバレス化 Amazon Fargate for Amazon EKSには「AWS Fargate」と「Amazon EKS」の2つのサービス名が含まれています（上記スライドでは「Amazon Fargate」と表記されていますが、正式名称は「AWS Fargate」）。 Amazon EKS（Amazon Elastic Kubernetes Service）から先に説明すると、これはコンテナ群で構
【Terraform🧑🚀】tfstateファイルの分割パターンとディレクトリー構成への適用 - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Terraformのtfstateファイルを分割する目的と、オススメの分割パターンについて (★) Terraformのリポジトリやリモートバックエンドのディレクトリ構成の設計について 記事のざっくりした内容は、以下のスライドからキャッチアップできちゃいます！ この記事から得られる知識 01. はじめに 02. なぜ tfstate ファイルを分割するのか 分割していない場合 分割している場合 分割しなくていい場合 03. tfstate ファイルの分割 分割の境界 状態の依存関係図 依存関係図とは 依存関係の表現 ▼ 依存関係の表現記法 ▼ 依存関係がない場合 ▼ 依存関係がある場合 04. tfstate ファイルに基づくその他の設計 リポジトリ 🐱 の設計 リポジトリ分割 ディレクトリ 📂 構成 リ
今回はService Meshについて概要を調べ、Service Meshを提供するプロダクトの一つであるIstioに触れてみました。 Service Meshとは マイクロサービスの課題 Service Meshを考えるうえでまず必要になるのが、マイクロサービスアーキテクチャの抱えるいくつかの課題です。 マイクロサービスを導入・構築するうえでの課題として、ネットワークに関連する事項が挙げられます。マイクロサービスはお互いネットワークを通じて連携するため、ネットワークに関する機能（Load Balancing、Traffic Routingなど）を実装する必要があります。また、アプリケーションを構成するマイクロサービスの数が多くなるほど、マイクロサービス間の接続数は増加し、通信断の発生する確率やパフォーマンス低下など、ネットワーク関連の問題が発生する可能性も増加します。 これまで複数のグロ
最近、為替の値動きが気になる方も多いのではないでしょうか？2022年3月に入ってから円安傾向に歯止めがかからず2022年4月13日には、2002年5月以来、実に20年ぶりに1ドル126円をつけました。 126円いっちまったな 【??ドル円 #USD／JPY】126.0770 pic.twitter.com/VIH73oD3fQ — Atsushi Marumo (@marumo1981) April 13, 2022 昨年、2021年1月時点では1ドル102円だったことを考えると、1年とちょっとでおよそ20%も為替が変動しています。国内ユーザーの多くはAWS利用費を最終的に日本円で支払っていると思いますので、1年前と同じ利用量でUSドルの請求額が同じだとしても、コストは20%増加していることになります。 「クラウドは為替の影響受けるから怖いね、、」 ではなく、クラウドだからこそ柔軟にコスト
こんにちは！ アンドパッド SREの宜野座です。 ANDPADではAWSを主要なクラウドとして利用させていただいているのですが、続々と社内でAWSを利用する方が増えていることでAWSアカウントの運用も少しずつ煩雑になってきています。 IAMやアカウントの管理に関する議論が2019年末頃からSREでは始まりましたが、具体的に動き出せたのは2020年夏ごろでした。 最近では週1くらいのペースでMTGを行いながら今後のアカウント改善に向けた取り組みを行っています。 今回は IAMの運用改善への取り組みの中で行ったこと AWS Organizationsを導入していく際に注意したポイント 将来的な取り組み についてご紹介させていただければと思います。 IAM運用改善の取り組みの中で行ったこと すべてのIAMアカウントを洗い出す IAMグループ運用について考える 不要なIAM権限の整理、置き換え ロ
こんにちは、koidです。 この記事は Gunosy Advent Calendar 2021 - Adventar の25日目の記事です。 昨日の記事は aitaさんの EKSにJupyterHubを構築した - Gunosy Tech Blog でした。 ドキュメントの更新って面倒だし忘れがち ドキュメントのメンテナンスを自動化しよう コードからドキュメントを自動生成する ツールの利用によるドキュメント生成 CIによるドキュメント生成の自動化 状態からドキュメントを自動生成する ツールの利用によるドキュメント生成 CIによるドキュメント生成の自動化 まとめ ドキュメントの更新って面倒だし忘れがち 本題です。 みなさん、Pull Requestのレビュー時に、 ドキュメント・READMEも修正お願いします！ こういったコメントをした/された経験ってありませんか？ コメントをする側としても
id:sora_h です。最近は RubyKaigi の Organizer や Wi-Fi NOC をやっていましたが… 何屋なんだろう? 一応 Software Engineer (Site Reliability, Corporate Engineering) を名乗っていますが…。あっ RubyKaigi から戻ってからは学者をやってますね。落ち着いたら本業を思い出していこうと思います。 さて、Cookpad は 2010 年より RubyKaigi に協賛していますが、近年は Wi-Fi Sponsor など*1として携わっています。実体的には、 id:sora_h (筆者) が RubyKaigi 前にほぼフルタイムで Wi-Fi の準備に提供されたり、細々とした機材、一部の回線・ラックスペースの提供を行っています *2。 本稿では RubyKaigi 2023 Wi-Fi ネ
N予備校のインフラを Amazon EKS に移行した話 はじめまして。ドワンゴの教育事業で SRE エンジニアをしている西永です。 N予備校 では Kubernetes を採用しています。 これまでは Control Planes 含めすべての構成要素を自前で構築し運用していましたが、様々な問題が発生してきたことから Amazon EKS に移行をおこないました。 この記事では、Amazon EKS への移行に取り組んだ事例にについて紹介します。 なぜ移行したのか Kubernetes のバージョンが古い これまでの構成では Kubernetes のバージョンアップが考慮されておらず、Kubernetes を利用した N予備校の提供開始以降バージョンアップができていない状態でした。 そのためバージョン 1.7 を利用し続けていました。 バージョン 1.7 は 2017 年にリリースされ、
後悔先に立たずなマルチクラスタ運用の知見がてんこ盛り「最高のKubernetes on AWSを実現するために」 #AWSSummit | DevelopersIO
「Kubernetes、考えることがいっぱいあって楽しいですね。今日はそんなKubernetesのお話です」 こんな謎の問いかけから始まった、Kubernetesセッション、皆さんご覧になりましたか？ Kubernetesで実現するアプリケーションの未来まで見据えたとき、最初に検討しないと一生後悔する忘れがちだけど考えないといけない知見がてんこ盛りのセッションでした。このブログでは、そのセッション内容を余すことなく解説。 EKS/Kubernetesの運用に自信がない Kubernetesクラスタの長期運用を真剣に考えたい クラスターのアップデートができず不安 そんなあなたの未来を明るく照らす知見が、このセッションには詰まっています。ぜひ、Kubernetesクラスタ運用に迷いがあるかたはこのブログご覧になって、未来の負債をこの場で削ぎ落としましょう。 もう、アレコレ悩まなくても良いの…!
Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(再始動編) - Repro Tech Blog
こんにちは、@r_takaishi です。近所にスパイスカレーのお店ができてハッピーです。今回は、Reproのサーバーサイド開発環境におけるM1 Mac対応を改めて行ったので、やったことを紹介します。 なお、これまでの経緯は以下の通りです。 前回 Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog 前々回 Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり - Repro Tech Blog いつのまにかConfluent PlatformがM1 Mac上のDockerで動くようになっていた Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog ではConfluent Platformのコンテナイメージがx86_64の
Amazon RDS Proxy for Scalable Serverless Applications – Now Generally Available | Amazon Web Services
AWS News Blog Amazon RDS Proxy for Scalable Serverless Applications – Now Generally Available At AWS re:Invent 2019, we launched the preview of Amazon RDS Proxy, a fully managed, highly available database proxy for Amazon Relational Database Service (RDS) that makes applications more scalable, more resilient to database failures, and more secure. Following the preview of MySQL engine, we extended
Dockerって何？ って聞かれたときの解説、の解説
TL;DR Dockerは仮想化であるコンテナの実装の一種 ただし、広義のDockerはOCI系コンテナの総称 アプリの配布と実行の仕組みと思えばOK コンテナによりIaCや一貫したデプロイ、H/Wの効率的な利用がしやすくなる ※ コメントでいくつか指摘があったので記事を更新しました。ご指摘ありがとうございました！ はじめに おそらく過去幾度となく生み出されたであろうDocker解説記事となります。正確には解説動画の解説記事。 というのも、Dockerあるいはコンテナはもはや当たり前、と言えるほど普及してるようにもSNSやブログとかだけ見てると思えますが、実際には話題は知ってるけど良く分かってない/業務で今度使う事を検討したいけどつまり何なの？ って人もまだまだ多いです。 なので私が 「Dockerって何？」 と聞かれたとき答えてる内容を動画にしてみました。技術的な詳細を解説というよりは
スタートアップ企業への Kubernetes 導入に必要なこと – Kubernetes エキスパートとコンテナスペシャリスト SA が考える適切な活用法 | Amazon Web Services
AWS Startup ブログ スタートアップ企業への Kubernetes 導入に必要なこと – Kubernetes エキスパートとコンテナスペシャリスト SA が考える適切な活用法 オープンソースのコンテナオーケストレーションシステムである Kubernetes は、いまや多くの企業が導入する技術となりました。デプロイ・スケーリングの自動化や、コンテナ化されたアプリケーションの統合的な管理を行ううえで、利便性の高い機能を提供してくれます。 ですが、Kubernetes の適切な活用方法については、模索を続けているエンジニアがほとんどです。とりわけ、人も時間も限られているスタートアップ企業においては、「限られた人的・時間的リソースのなかで、どう Kubernetes を利用すべきか？」「そもそも、自社に Kubernetes を導入した方がいいのか？」と思い悩んでいる方は多いのではない
AWSを活用するAutify、ZOZO、dipが、AWSコスト削減についての事例を発表するオンラインイベント「AWSコスト削減事例祭り」。3社それぞれが事例を発表しました。オーティファイ株式会社からは松浦隼人氏が登壇。同社における、AWSのコストの削減の事例について発表しました。 もともとはインフラを担当していた松浦隼人氏 松浦隼人氏（以下、松浦）：オーティファイの松浦から、当社でのAWSのコストの削減の事例について発表したいと思います。よろしくお願いします。 今日のトピックは、タイトルのとおりですが、オーティファイでAWSのコストを見直すきっかけになったことと、その時の見直しの手法、それから当社にとってインパクトのあったコストの削減策について紹介したいと思います。 まず自己紹介からします。オーティファイの松浦と申します。今、機械学習とQAのチームのエンジニアリングマネージャーをしています
攻撃しながら考えるKubernetesのセキュリティ / Considering Kubernetes Security While Attacking
本資料は 2020/9/8 の「CloudNative Days Tokyo 2020」の発表資料です。 ■発表動画 https://event.cloudnativedays.jp/cndt2020/talks/26 ■内容 ・コンテナ全般のセキュリティ ・脆弱な設定のKubernetesに対する攻撃 (アプリの脆弱性をきっかけとした悪意のあるPodの作成、権限昇格、などの攻撃の流れ) ・上記に対する対策 ■書籍以外のReference KubeCon NA 2019 CTF： https://securekubernetes.com/ Kubernetes Security for Microservices：https://speakerdeck.com/rung/kubernetes-security-for-microservices/ Threat matrix for Kub
こんにちは, プロダクト開発部の今村です. ここ一年ほど, 主にグノシーのプッシュ通知基盤の部分的なリプレイスや機能追加をしていました. この記事ではプッシュ基盤の構成を紹介したいと思います. 概要 FCMのAPIを呼び出す部分 サーバーのスケーリング 送信対象の読み込み 送信の流れ その他の工夫 重複配信の防止 パフォーマンス調整 おわりに 概要 まずはプッシュ通知の種類を整理します. 今回扱うのは, 多数のユーザーに同じ内容を送るような通知です. 重要なニュースが発生したときに送る速報や, キャンペーン情報の通知などが該当します. 対照的に, ユーザーごとに異なる内容を送る通知もあります. 例えば社内で定時プッシュと呼ばれている機能では, ユーザーごとにパーソナライズされた記事を毎日決まった時間に送ります. このような通知はこの記事では (ほぼ) 扱いません. プッシュ通知基盤に求めら
Let’s Architect! Designing architectures for multi-tenancy | Amazon Web Services
AWS Architecture Blog Let’s Architect! Designing architectures for multi-tenancy Understanding architectural patterns for multi-tenancy has become crucial for architects and developers aiming to deliver scalable, secure, and cost-effective solutions. Isolating tenant data is a fundamental responsibility for Software as a Service (SaaS) providers. In this edition of Let’s Architect!, we talk about
Platform Engineering on Kubernetes を読んでCloud Native の現在地を理解する - じゃあ、おうちで学べる
はじめに 近年、Kubernetesの採用が進む中、複数のチームが関わり、複数のクラウドプロバイダーへのデプロイを行い、異なるスタックを扱う組織では、その導入の複雑さが新たな問題となっています。本書 『Platform Engineering on Kubernetes』は、Kubernetes に登場しつつあるベストプラクティスとオープンソースツールを活用し、これらのクラウドネイティブの問題を技術的に組織的にどのように解決するかを示してくれます。 learning.oreilly.com 本書では、Kubernetes上に優れたプラットフォームを構築するための要素を明確に定義し、組織の要件に合わせて必要なツールを体系的に紹介しており、実際の例とコードを交えながら各ステップをわかりやすく説明することで、最終的にはクラウドネイティブなソフトウェアを効率的に提供するための完全なプラットフォーム
おしらせ 2021/06/27 の Drecom SRE Sunday にて、 この記事にかかれている EKS 移行に関する情報共有を行います、ぜひご参加ください！ Drecom SRE Sunday (connpass) はじめに こんにちは！ enza SREチームのmendと申します！ 先日の安藤さんの記事「古き良きRailsアプリケーションをコンテナ化してKubernetes上で動かす」にもある通り、運用しているプロダクトをAmazon EC2からAmazon EKSに移行しました。 プロダクトをダウンタイムなしにEC2からEKSに移行しましたので、今回はダウンタイムなしを実現したインフラ側の構成について紹介させて頂きたいと思います。 背景 まず背景としましては、私の関わっているプロダクトはこれまでEC2で動作しておりました。 EC2上でdockerコンテナを起動しているのではなく
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に ビルドやテストのプロセスを自動化する、いわゆる継続的インテグレーション（Continuous Integration）の機能をサービスとして提供するCircle CIには、「Orb」と呼ばれる、設定ファイルなどを含むCircleCI向けパッケージの共有機能があります。 Orbは、CircleCIのWebサイト上の公開レジストリ的なサービスによってまざまな設定が公開されています。 例えば、CircleCIにAWSコマンドラインツールを統合する設定、ソースコードをビルドしてDockerイメージを生成、それをDockerレジストリに登録する操作を自動化する設定などがあります。 こうしたOrbを利用することで、CircleCIでさまざ
記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタグの検索 ユーザの検索 マガジンの検索 記事の検索 メンバーシップの検索 CloudSearchを利用した検索結果これまではCloudSearchを利用していましたが、2022年の4月ごろからElasticsearchへの移行プロジェクトを始め、この記事が公開される2023年2月時点でほとんどの検索をElasticsearchに移行するところまで進みました。 本稿では移行プロジェクトの進め方や検証の手法について解説しますが、これから全文検索エンジンの導入・移行を行う方の参考になれば
あけましておめでとうございます。SREチーム(新卒)の市川恭佑です。 カヤック技術ブログでは本記事が2023年初エントリですが、Happy Lunar New Year!の方が違和感のない時期になってしまいました。 本年、新たにカヤックSRE連載と題した企画を始めるので、概要についてご報告します。 連載企画を始める経緯 カヤックの技術ブログといえば毎年恒例のアドベントカレンダー企画が人気ですが、これは12月限定のため、それ以外の時期にブログの更新が激減する傾向がありました。 ブログ過疎化の対策として、カヤックでは去年からSREチームで毎月1本のペースでブログ記事を出していました。 実のところ、内部的にはこれを「SRE連載」と読んでいました。 「とりあえずやってみよう」というノリで始まった連載でしたが、結果的には「12月を除くすべての期間において記事を出す」という実績を作れたので、本年は正式
モノタロウがGoとprotobufで進める爆速マイクロサービス開発とそれを支えるプロセス - MonotaRO Tech Blog
こんにちは。モノタロウのTechBlog編集チームです。 モノタロウではECサイトでのお客様体験の向上を目指して、日々改善に取り組んでいます。 商品の出荷目安などの出荷関連情報は重要な要素の1つになります。 今回は、出荷関連情報の正確性を改善するとともにシステムの変更容易性を向上させるためにマイクロサービス化に取り組んだ活動をインタビューしました。 自己紹介 納期表示を高度化する サプライヤ在庫連携機能開発のつらみ AVLのマイクロサービス開発のすすめ方 リリース・監視・その後の展開 おわりに 今回インタビューしたみなさん 自己紹介 山崎 章裕 ECシステムエンジニアリング部門 開発生産性グループ、プラットフォームエンジニアリング部門 CTO-Officeグループ AVLチーム兼務 2019年8月に入社し、主にECサイトの注文・配送周りのプロジェクトにテックリードとして関わる。またECサイ
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように Amazon Web Services（AWS）は、オブジェクトストレージサービスのAmazon S3で「Strong Consistency（強い一貫性）」をサポートすることを明らかにしました。 すでにAmazon S3で有効になっており、追加料金は発生せず、性能低下もないとのこと。AWS re:Invent 2020の基調講演では発表されておらず、ブログで発表されました。 これまでAmazon S3では、データ整合性がつねに保証されるものではない「結果整合性」のみをサポートしていました。そのため、データをAmazon S3へ保存した直後やデータの変更を行った直後に別のプロセスからそのデータにアクセスしようとすると、まだ保存されていない、あるいは変更されてい
【日本初導入】 AWS Outposts ラックを徹底解説 第1回 〜導入・利用方法の概要〜 - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの福田・鈴ヶ嶺です。 普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 本記事は、今回日本で初めて導入した AWS Outposts ラックの仕様、導入方法、利用方法について徹底解説します。次の画像は、実際に導入した AWS Outposts ラックの画像です。 NTT Com では「Node-AI on AWS Outposts」に関するニュースリリースを2022年3月14日に発表いたしました。 今後は「Node-AI on AWS Outposts」を軸に、自社の多様なサービスやソリューションと組み合わせることで、AWSをご利用されるお客さまのデジタルトランスフォーメーションを支援していきます。 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリ
VS Code の拡張機能を作ったけどもっと便利なやつがあったどころか標準機能にあった話 - Gunosy Tech Blog
こんにちは、ちょっと前に 3 ヶ月半の育児休業から復帰したくらさわです。 なんと今日で生まれてちょうど半年です！早い！！ こちらの記事は Gunosy Advent Calendar 2021 の 16 日目の記事です。 昨日の記事は yamaYu さんの『EKS Managed Node Group でカーネルパラメータを変更する 』でした。 今回は Visual Studio Code (以下 VS Code) の拡張機能を開発した話 + α を書きたいと思います。 タイトルが全てです。 はじめに 作成した拡張機能 拡張機能作成の流れ セットアップ Yeoman と VS Code Extension Generator をインストール Yeoman を実行 プロジェクトを開く コード contributes.commands activationEvents activate 関数
Feature Flags の仕組みを整備して、デプロイとロールアウトの分離を加速させた - カミナシ エンジニアブログ
こんにちは、カミナシでソフトウェアエンジニアをしている 佐藤 と申します。 弊社で開発・提供しているノンデスクワーカー向けプラットフォーム「カミナシ」（以降「カミナシレポート」や「弊社アプリケーション」と呼びます）において、Feature Flags の仕組みを整備し、デプロイとロールアウトの分離を加速させたことについてご紹介したいと思います。 登場する技術 Amazon Elastic Container Service (ECS) AWS AppConfig AWS AppConfig agent 前提知識 後半の「技術的な話」以降の部分は、以下の技術についても触れています。 Feature Flags、Feature Toggles AWS AppConfig Amazon Elastic Container Service (ECS) Terraform 「背景」や「解決策」といっ
あけましておめでとうございます。サイバーエージェントの青山真也（@amsy810）です。今年の新春企画では、2022年にも動向を見ていきたいと思っている、2021年のCloudNative関連のトピックを紹介します。項目としてはeBPF、WebAssembly（Wasm）、複数Kubernetesクラスタの管理・連携、CNCF Technical Advisory Groups（TAGs）によるWhitepaperを取り上げていきます。 eBPF eBPFは、カーネルのソースコードの変更なしに任意のプログラムをカーネルに組み込み、カーネル空間で任意の処理を実行するための仕組みです。CNCFのプロジェクトでは、Cilium・Calico・Falco・Pixieなどで利用されています。 CloudNative領域でのeBPFは、ネットワーク関連での利用が一番活発です。eBPFを利用したCN
Kubernetesが標準プラットフォームであるクラウドネイティブの世界でアプリケーションを開発し運用する方法を解説する書籍です。 はじめに、Kubernetesの概要と背景、ソフトウェアの開発と運用にKubernetesがもたらす変化、コンテナの動作原理、コンテナの構築および管理方法、クラウドネイティブなサービスおよびインフラの設計方法などの基礎を紹介します。 そしてKubernetesアプリケーションの作成とデプロイ、Kubernetesクラスタの設定と運用、クラウドインフラの自動化、Helmなどのツールを用いたデプロイについてサンプルコードを使って学習します。ロールベースのアクセス制御（RBAC）をはじめとした、セキュリティ、認証、パーミッションなどに対するKubernetesのサポートや、本番でコンテナとKubernetesの安全性を確保するためのベストプラクティスについても学びま
GitHub Actions Self-hosted Runner の導入と安定運用に向けた軌跡 - スタディサプリ Product Team Blog
こんにちは。SRE の @int128 です。 Quipper では GitHub Actions Self-hosted Runner を一部のジョブで導入しています。本稿ではその目的と具体例を紹介します。 背景と解決したい課題 Quipper では以下の CI サービスを用途に合わせて利用しています。 CircleCI（テストやデプロイなど） GitHub Actions（テストやデプロイなど） AWS CodeBuild（主に Terraform など AWS リソースにアクセスする場合） Google Cloud Build（主に Google Cloud のリソースにアクセスする場合） Jenkins（定期実行や手動実行に特化したジョブ） このうち GitHub Actions は以下の点が優れていると感じています。 monorepo 構成の場合にマイクロサービスごとに独立して
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
2020年01月06日18:00 刀のヘンテコ鍔貼っていくぞぉぉぉぉ🙌🙌🙌 Tweet 1: 風吹けば名無し 2020/01/05(日) 16:33:35.49 ID:AkJ4Crv+0 つばって読むんやで🤗 転載元：http://tomcat.2ch.sc/test/read.cgi/livejupiter/1578209615/ デパートの最上階にあった食堂の思い出 最強の画像で笑ったら寝るスレ 突然懐かしい匂いがして懐かしい感覚に襲われる 【笑えませんが】 哲学ジョーク集 【笑えます】 ２ちゃんで最も有名なコピペってなんだろ 日本の城と世界の城の歴史考察 食中りすると一番恐ろしい食い物 【ネタバレ注意】ゲームで衝撃的だった展開・エンディングを挙げてけ 5億年ボタン押す派の奴馬鹿すぎｗｗｗｗｗ 2: 風吹けば名無し 2020/01/05(日) 16:34:12.79 ID:Ab
AWSが長い間、最高のオープンソースプロジェクトを取り込み、常にそれらのコミュニティに還元することなく再利用し、再ブランド化することで非難されてきたことも周知の事実だ。 AWS gives open source the middle fingerOSSというのは、不思議なソフトウェアだ。世界中で何百万人もの人が一円にもならないのに開発に協力し、コミッタと呼ばれるエンジニアキャリアをOSSに賭ける人々が現れ、多くのユーザがユーザ会を組織し、時には大規模なイベントを開く。MicrosoftやGoogleといった大企業もOSS支援を表明している。GoogleにいたってはandroidとKubernetesという重要なOSSを世に送り出した企業でもあり、その貢献は計り知れない。 そんな中、OSSに対して敵対的、とまでは言わないにしても非常に冷淡な態度を取る企業がある。それがAWSである。本稿では
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 | DevelopersIO
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 そろそろ Kubernetes 入門しようかな。インフラは AWS がいいな。 そんなあなたに Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える ということで本日は 2020/03/25 に出版されたKubernetes on AWS ~アプリケーションエンジニア 本番環境へ備えるを紹介したいと思います。 こんな方にお勧め コンテナベースの開発プロセスや Kubernetes の基本的な使い方を理解したいアプリケーションエンジニアの方 Kubernetes は避けては通れないと思っている AWS エンジニア（インフラエンジニア）の方 Kubernetes を本番運用するにあたり何をすべきなのか知りたい
ZOZOSUITからZOZOMATへ - Envoy gRPC-JSON transcoderによる部分的モダン化の実践 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム部バックエンドチームの高木（@TAKAyuki_atkwsk）です。ZOZOMATシステムではAPIのリバースプロキシとしてEnvoyおよび付随するgRPC-JSON transcoderを導入しています。これらによって依存するサービスにレガシーなサーバーが存在していても部分的にgRPCを採用しモダンなアーキテクチャを広めようとしていることについて紹介します。 なお、本記事は以下記事のシリーズとなっておりますので合わせてご覧いただけるとZOZOSUITやZOZOMATなど計測プラットフォーム部の取り組みについてより深くご理解頂けるかと思います。 techblog.zozo.com ZOZOMATシステムとEnvoyについて ZOZOMATシステム構成におけるEnvoyの役割について簡単に説明しておきます。クライアント（ZOZOTOWNアプリ等）とZ
はじめに こんにちは、技術本部SRE部カート決済SREブロックの遠藤・金田です。 普段はSREとしてZOZOTOWNのカート決済機能のリプレイスや運用を担当しています。本記事では自作のコマンドラインツールをSlack + AWS Chatbot + AWS Lambdaを使用してChatOps化した事例をご紹介します。「日々の運用業務をコマンドラインツールを実装して効率化したものの今ひとつ広まらない」「非エンジニアにも使えるようにしたい」と考えている方の参考になれば幸いです。 目次 はじめに 目次 背景・課題 ChatOpsとは AWS ChatBotとは 構成 AWS ChatBot チャットツール側の設定 Slack Workflow Lambda 実装のポイント ChatBotのアクセス制御 User Roleの運用方法 ガードレールポリシー コマンドラインツールのLambda関数化
概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB
技術発信やその他の研鑽ではなく、業務という形式にこだわったのは、座学に偏りがちな私自身の性格を踏まえてのことです。 また、業務形態を問わず、ひとりのエンジニアとして何ができるのかを認知され、裏付ける実績があり、いい形でコラボレーションできる状態でありたいと思うこともあり、Offersに登録して、複業を探し始めました。 詳しい経緯は私のブログ記事「旗を立てる2021年」にまとめています。 > まずは「Offers」で副業オファーを受けてみる 小さいスコープで技術選定 最初に取り組んだのは、ツールやコンポーネントの導入でした。最初のタスクということもあって、「xxxというツールを導入してほしい」というタスクベースのものが主でした。 コンテナ管理にKubernetesを選択しており、運用をいかに信頼性高く効率的に行っていくかという課題がありました。それまでの基盤へのコンポーネント導入や移行の設計
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraform について、やっていることをすべて話そう - Qiita
Istioに入門する - TECHSTEP
円安相場だからこそやりたい！AWSコスト最適化のための5ステップ | DevelopersIO
AWSアカウント運用改善の取り組み - ANDPAD Tech Blog
面倒なドキュメント生成はCIにやらせよう - Gunosy Tech Blog
RubyKaigi 2023 Wi-Fi: 足回り徹底解説 - クックパッド開発者ブログ
N予備校のインフラを Amazon EKS に移行した話 - ドワンゴ教育サービス開発者ブログ
新サービス開発で右肩上がりになってしまったAWSコスト “塵も積もれば山となる”インフラコスト削減策
グノシーのプッシュ通知基盤を紹介します - Gunosy Tech Blog
ダウンタイムなしでEC2からEKSへ移行しました！ - Tech Inside Drecom
noteの検索をCloudSearch からElasticsearchに移行しつつある話｜chov
SRE連載が始まります！ - KAYAC engineers' blog
2022年に注目したいCloudNative関連技術 | gihyo.jp
Kubernetesで実践するクラウドネイティブDevOps
【2024年】AWS全サービスまとめ | DevelopersIO
刀のヘンテコ鍔貼っていくぞぉぉぉぉ🙌🙌🙌 : 哲学ニュースnwk
ソフトウェアと愛 - あるいはOSSとAWSの確執｜ミック
ChatOpsによる運用作業の自動化 - ZOZO TECH BLOG
2023年のSREチームのAWSコスト削減を振り返る - Uzabase for Engineers
複業SREとして広げる課題解決の幅と深さ。期待値以上の成果を上げるまでに何をしたか | Offers Magazine