actions-runner-controllerでself-hosted runnersをオートスケール
技術本部 サービスリライアビリティグループ（SRG）の松田です。 SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では一部のプロダクトでGitHub Enterprise Server(以下GHES)を利用しています。GHESでGithub Actionsを使いたい場合、GitHub-hosted runnersは利用できないため、self-hosted runnersを選択することになります。私が関わっているプロダクトでは、既存のCIからGitHub Actionsに移行する予定があり、開発者がカジュアルに試せる環境を用意することにしました。 公式の導入方法のとおりにself-hosted runnersを導入すると以下の課題が
はじめに EKS Anywhere(EKS-A)とは じゃあ、何をするCLIなの？ EKS Distro(EKS-D)とは 刺さるユースケースは・・・？ EKS Connectorの話 EKS-AとEKS Connectorの組み合わせ 1. クラスター管理をeksctlに一本化できる 2. クラスターAPIによるメリットが享受できる 3. AWSの管理画面からワークロードの様子などが確認できる 他にもいろいろ さいごに はじめに この記事はEKS Anywhere(EKS-A)がGAになった最初の時点での情報です。あくまで参考程度にご覧いただけると幸いです。 先にみなさんに誤解がないように言っておくと、EKS-Aは以下のどの製品（サービス）とも異なる性質があります。そのため比較検討の対象ではないことを認識しておくと良いです。 Google Anthos Tanzu Kubernetes
[速報] AWSのマネージドCassandra、分散KVSのAmazon MCSが発表されました！ (Open Preview) #reinvent | DevelopersIO
Operating Cassandra at scale re:Invent 2019のキーノートにて、Amazon Managed Apache Cassandra Service (MCS)が発表されました。この記事では速報としてお届けします。 Announcing Amazon Managed Apache Cassandra Service – Now in Preview New – Amazon Managed Apache Cassandra Service (MCS) | AWS News Blog スケールに対応した分散KVSとして代表的なApache Cassandraが、ついにマネージドサービスのひとつとしてAWSでサポートされます。DynamoDBへの移行が簡単でないアプリケーションの管理者には福音ではないでしょうか。 Amazon MCSの特徴は下記とのこと： A
![[速報] AWSのマネージドCassandra、分散KVSのAmazon MCSが発表されました！ (Open Preview) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3e65ee58352405507c3c5eef3119eb984ccc2b1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2F201912-keynote-new-amazon-mcs-eyecatch-fs8.png)
過去と現在のオンプレとクラウドの比率 sue445氏：次に、現在のピクシブの状態について話します。（スライドを示して）だいたいこんな感じのことを話そうと思います。 まず、オンプレとクラウドの比率について話します。 僕が入社した当時は、クラウドの利用率はだいたい2割弱でしたが、今現在は3割弱と、ちょっと増えています。 AWSのアカウントやGCPのプロジェクトはTerraformとGitLabで管理 次に、Terraformについて話します。僕が入社した以降に開設されたAWSのアカウントやGCPのプロジェクトは、基本的に全部TerraformとGitLabで管理しています。 最初にTerraformのリポジトリを作ったのは、冒頭で話したAWSのオートスケールRunnerのやつで、その時は2018年11月でした。それからTerraformのリポジトリをいろいろ作って、今現在だいたい60個ぐらいあ
Next.js + AWS Amplify + Graphqlで作るサーバーレスアプリケーション環境構築 - Qiita
概要 こんにちは、先日AWSのre:Inventで発表されたAWS Amplify DataStoreがめちゃくちゃ便利すぎて驚きを隠せない、都内でフロントエンドエンジニアをしていますかめぽんです。 今まで、VueやNuxtでの開発がメインでやってきておりましてReact、Nextでの開発経験が少なくまたTypescriptでなにか出来ないかなと探しておりました。 最近だとモバイル開発のためのAWSのサービスをインテグレートしたAWS版firebaseのようなAmplifyというサービスが出ています。内容をみてみると、何やら爆速でサーバーレスアプリケーションが出来そうだなと感じたので、Next.js + AmplifyでTodoアプリを作ってみました。巷では、Nuxt.js + firebaseの組み合わせの記事がかなり多かったですが、こちらのアーキテクチャでも実装出来たのでその方法を体系
AWSやGCP、Azureなどのクラウドサーバの登場によりインフラ構築は誰でも気軽に行えるようになりました。物理サーバからクラウドに環境を移行した会社も数多くあり、クラウド全盛期の時代だと言っても過言ではないでしょう。 一見するとクラウドにすべて移行しても良いように思えるかもしれませんが、物理サーバから移行すべきでないケースも多々あります。このクラウド全盛期の時代に、オンプレ環境で開発をやる上でどのように物理サーバを運用しインフラを育てているのでしょうか。今回はDMM.comにどのような課題があり、それらをどう解決していったのかお伺いしました。 大久保：弊社はオンラインゲーム、動画配信、電子書籍をはじめ、通販ショッピングや競輪も楽しめる総合エンタメサイト「DMM.com」を運営しています。弊社は、現CTOである松本が2018年にジョインしてからテックカンパニーとしての指針「DMM TECH
こんにちは。ecbeing金澤です。 レビューのSaaSサービス「ReviCo(レビコ)」を開発しています。 はじめに：ReviCoは1周年を迎えました 1年前のReviCo パフォーマンス改善のためにやったこと CDNキャッシュをきちんと設定する スロークエリをきちんと対処する 表示処理を優先するようロジックを見直す 中間テーブルを作って重いSQLが毎回走らないようにする ElastiCacheを導入する データ的に独立しているテーブルをAuroraからDynamoDBに移動する 書き込みDBと読み込みDBを分離する APIのキャッシュヒット率を上げる まとめ 今のReviCo おわりに：今後の展望など お知らせ はじめに：ReviCoは1周年を迎えました 少し前になりますが、4月にReviCoは正式ローンチ1周年を迎えました。 おかげさまで多くの企業様にご利用頂いているのですが、 ユー
はじめに平素は大変お世話になっております。 クイックガードのパー子です。 ここ 1〜2年の傾向として、弊社でも Kubernetes を扱う案件が増えてきております。 設計から構築、運用まで一貫してお任せいただくことも多いのですが、安定運用するうえでオートスケールの活用は欠かせません。 (というか、これを活用しないと Kubernetes の価値は半減です。) ところが、Kubernetes にはオートスケールの仕組みが何種類もあり、さらにプラットフォーム独自のスケーリング方式も含めると、初見者にはなかなか全貌が把握しづらいところでございます。 そこで、今回は Google Kubernetes Engine (GKE) を対象に、利用可能なすべてのスケーリング方式の概観をまとめてみました。 あくまで概観を眺めるのみに留めており、各方式の具体的な設定方法は説明しませんので、必要に応じてググ
【レポート】EKSで構築するグリーのエンターテインメントシステム #AWSSummit | DevelopersIO
こんにちは、城岸です。 2019/6/12(水)～14(金) の期間で開催されている、AWS Summit 2019 Tokyo からセッションをレポートします。 本記事は「EKSで構築するグリーのエンターテインメントシステム」のセッションレポートになります。 セッション概要 スピーカー：堀口 真司氏 （グリー株式会社 開発本部 インフラストラクチャ部ディベロップメントオペレーションズグループ リードエンジニア） セッション名：EKSで構築するグリーのエンターテインメントシステム 東京リージョンでも EKS が使えるようになり、コンテナオーケストレーションに ECS との使い分けができるようになりました。 両者の違いや使い分けのポイントをゲームやメディア、動画配信などのサービスに適応する事例を交えながらお伝えします。 レポート アジェンダ docker単体の社内事例 ECSの社内事例 EK
Solr Operatorを利用したKubernetes上での検索システムの構築について - エニグモ開発者ブログ
エンジニアの竹田です。 BUYMAの検索システムやMLOps基盤の開発・運用を担当しております。 今回はSolr Operatorによる検索システム構築を行いましたので、その実施内容と得られた知見についてご紹介したいと思います。 はじめに 昨期から今期にかけて、オンプレミスのシステムからの脱却、およびマイクロサービス化を目指し、商品検索システムのリプレイスを進めていました。 エニグモでは機能毎にApache Solrを用いた複数の検索システムを保持しており、クラウド移行に伴い、構築面や運用面の負担は大幅に軽減できております。 なお、リプレイスを行った商品検索システムの構成も下記の記事と大きくは変わっていません。 tech.enigmo.co.jp 今回フォーカスする検索システムの課題 検索システムの運用には、開発案件や障害対応、システムのバージョンアップやシステム増強作業などがあります。
こんにちは。 ネクストモード株式会社 の田口です。 AWSの習熟でリソースを作成したものの、停止や削除を忘れてしまう経験をした人は多いのではないでしょうか。コストが発生することを知らなかったり、オートスケールの設定が残っていて消したつもりが別のリソースが起動したことに気づかなかったりと、理由は様々あると思います。 今回は、常時起動が必要なEC2インスタンスが存在するAWSアカウントにおいて、 習熟用に作成したEC2インスタンスの停止忘れをお知らせしてくれる仕組みを考えてみました。（もちろん強制停止させることも可能ですが、あくまでリソースの作成者が自ら停止する習慣をつけてほしいので、お知らせするだけにしました） 機能要件 EC2の使用量を削減する解決策として、AWS公式ページではLambdaを使用して特定の時間自動停止および起動する仕組みが紹介されています。この仕組みは対象リソースが決まって
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit | DevelopersIO
【レポート】クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン #AWSSummit こんにちは、佐伯です。 AWS Summit Tokyo 2019 Day3に行われたセッション「クラウドネイティブなモダンアプリケーション開発を始めよう！クラウドネイティブ設計とデプロイメントパターン」のレポートを書きましたのでご覧頂ければと思います。 セッション概要 オンプレミスのシステムを単純にクラウドへ移行するだけではクラウドの様々なメリットを享受することはできません。このセッションではクラウドネイティブなモダンアプリケーションの開発について、AWSの各種サービスをアプリケーションブロックとして利用するアプリケーション構成やAWSの各種サービスを利用したCI/CDの実現についてアーキテクトやデベロッパーの観点で解説します。 セッションレポート
ウェブサービスにおいて最も起こってはならないのが「サービスの停止」ですが、GoogleやCloudflareといった大手のインターネット企業でも、時にはそうした障害を引き起こします。2020年5月に発生したSlackのサービス障害について、SlackのエンジニアであるLaura Nolan氏が原因を説明しています。 A Terrible, Horrible, No-Good, Very Bad Day at Slack https://slack.engineering/a-terrible-horrible-no-good-very-bad-day-at-slack-dfe05b485f82 2020年5月にSlackで発生した障害について、実際にSlackユーザーに影響を及ぼし始めたのは太平洋標準時の5月12日16時45分からですが、それよりも前の8時30分から障害は始まっていたとのこ
【レポート】k8s 疲れの方へ送る、k8s ベースのらくらくマイクロサービス動作基盤のご紹介 #jjug_ccc #jjug_ccc_c | DevelopersIO
【レポート】k8s 疲れの方へ送る、k8s ベースのらくらくマイクロサービス動作基盤のご紹介 #jjug_ccc #jjug_ccc_c コンサル部のとばち（@toda_kk）です。 本記事は、2022年6月19日に開催されたオンラインカンファレンス JJUG CCC 2022 Spring にて行われたセッション「k8s 疲れの方へ送る、k8s ベースのらくらくマイクロサービス動作基盤のご紹介〜 Dapr ベースのマイクロサービス開発から GitHub Action を利用した CI/CD 〜」のレポートです。 JJUG CCCは、例年2回、春と秋に開催する日本最大のJavaコミュニティイベントです。Java関連の技術や事例に関する良質なセッションが行われ、また異なる分野で活躍するJava技術者が一堂に会する場ともなっています。 このセッションでは、Java Champion 兼 Mic
「.NET Conf 2020 Online - .NET 5 リリース記念 パーティートークへようこそ」のまとめ #dotnetconf - みちしるべ
.NET Conf 2020 Online - .NET 5 リリース記念パーティートーク 面白く、ためになったので、文字起こししてみました。 告知内容 はじめに スピーカーのみなさま（敬称略） .NET Conf 2020 Online - .NET 5 リリース記念 自己紹介と推し機能 祝 .NET 5 リリース！ スライド 動画 NET 5 / BCL / C# 9 ASP.NET Core / Blazor WebAssembly Entity Framework Core Cloud native / Microservices Xamarin / .NET MAUI Preview Windows 向け機能 / その他 NET 5 / BCL / C# 9 スライド 動画 Announcing .NET 5.0 .NET 5.0 Highlights Tools Native
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
Amazon ElastiCacheがサーバーレスになって運用がバチクソ楽になった #AWSreInvent | DevelopersIO
AWSが提供するRedis・Memcachedなどのキャッシュ系マネージドサービスAmazon ElastiCacheのサーバーレス版が2023年のre:Inventで発表されました。 Redis・MemcachedやAWSの知識を求めずに、運用負荷を大幅に軽減できるようサーバーレスに進化していました。 公式ドキュメントで案内されている ElastiCache Redis Serverless の起動方法は極限までシンプルです $ aws elasticache create-serverless-cache \ --serverless-cache-name CacheName \ --engine redis redis INFO コマンドの実行結果もシンプルです svlr-xx.serverless.apne1.cache.amazonaws.com:6379> INFO # Ser
Amazon Managed Service for Grafana を始めよう | Amazon Web Services
Amazon Web Services ブログ Amazon Managed Service for Grafana を始めよう この記事は、Amazon Managed Service for Grafana – Getting Started を翻訳したものです。 Amazon Managed Service for Grafana (AMG) は、フルマネージドでセキュアなデータ可視化サービスです。このサービスでは、お客様は複数のデータソースからアプリケーションの運用メトリクス、ログ、トレースデータを即座に検索、関連付け、そして可視化することができます。AMG は、オープンソースの Grafana プロジェクトに基づいています。Grafana は、広く展開されているデータ可視化ツールであり、拡張可能なデータソースのサポートによって普及しています。Grafana Labsと共に開発した
Amazon Managed Workflows for Apache Airflow (MWAA) でのAiflow v2系への移行記録 - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、Amazon Managed Workflows for Apache Airflow (MWAA) のAirflow v2系への移行を行いましたので、その時の話をしたいとお思います。 内容としては、主に以下となります。 MWAA では v1.10.12の環境を直接 v2.0.2に移行できないぞ！ ローカルでDAGのテストをしていると互換性チェックは楽だぞ！ 新しいv2.0.2の環境を作るときには、最初はrequirements.txtやDAGを空っぽにしておくと良いぞ！ ConnectionsとVariablesの新環境への移植は頑張るんだぞ！！！ 背景 MWAAでもAirflow v2系のサポートが始まりました。 先日、Airflowの勉強会に参加して初めて知ったのですが、Airflow v1系は2021/06月末でEOLです。 早く移行を
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
この記事はうるる Advent Calendar 2019 17日目の記事です。 はじめに この記事では、私が働いている会社、株式会社うるるで運営しているサービス幼稚園・保育園向け写真販売サービス えんフォトにおいて、写真アップロードの速度を爆速にするためにAWSのServerlessアーキテクチャを導入したお話をします。 サービスの内容や、導入に至った経緯などもお話ししたいところですが 話がとても長くなってしまいそうなので、アーキテクチャ導入にあたって考えたことや、細かい処理の説明にのみフォーカスし、記事を書きたいと思います。 ※社内のエンジニア向けにLTした際のスライドも活用していますのでご了承ください。 対象の読者 AWS(特にサーバーレス)について興味がある人/これから学びたいと思っている人 画像のアップロード速度に困っている人 画像を扱うサービスの開発を担当している人 注意点 か
はやいものでもう12月。今年もアドベントカレンダーがはじまりました。 本エントリは、Mackerelアドベントカレンダー2020の初日です。 監視は難しい Mackerelがローンチしてから6年が経ちました。この6年間、ぼくもほぼMackerelに関わる仕事をし続けています。6年前と比べて、多少はソフトウェア開発・運用の現場でも、監視の民主化みたいなものが浸透してきたかな、というのは感じつつあります。devopsというワードがバズワードではなく、エンジニア文化をあらわす一般的な用語として認知されつつあるのもそのあらわれでしょうか。 Mackerelを導入すれば、簡単に監視をはじめられますよ、と我々はお客さんに対して説明するわけですが、そうはいってもやはりまだまだ難しいところもあると思います。6年前に当時アプリケーションエンジニアとして正式ローンチ2ヶ月後にチームにジョインした当初のぼくなど
【AWS Dev Day Tokyo 2019 セッションレポート】 Chaos Engineering 〜入門と実例〜 | DevelopersIO
AWS Dev Day Tokyo 2019 のセッション Chaos Engineering 〜入門と実例〜 に関してのレポートです。 登壇者 株式会社Cygames 和田 明久 様 アマゾン ウェブ サービス ジャパン株式会社 畑 史彦 様 セッション概要 Chaos Engineering と聞くと皆さんは何を思い浮かべますか？ Netflix 社の Chaos Monkey による VM のシャットダウンなどが有名かもしれませんが、これは Chaos Engineering のかなり初期から存在するツールの１つでしかありません。現在はそこからエコシステムが拡大し、インフラストラクチャ・レイヤではなくアプリケーション・レイヤで注入し故障をより精緻に制御する方法論やサービスメッシュ・レイヤへオフロードする仕組みなど、多様な発展を見せています。このセッションでは、これら Chaos En
先月、オンデマンドにオートスケールするAurora Serverless v2がGAになりました。 コンソールで「簡単に作成」からウィザード形式でAuroraインスタンスを作成すると、デフォルトではこのServerless v2 で作成されるなど、一気に身近な存在となりました。 一方で、サービス名の「Serverless」や「v2」からは、どのようなデータベースなのかわかりにくいです。 Aurora Serverless v2 はキャパシティがスケールするDBインスタンス Aurora Serverless v2の実態は、オンデマンドでキャパシティがスケールする db.serverless という新しいインスタンス・クラスが割り当てられたDBインスタンスです(「サーバーレス DBインスタンス」と呼びます)。 ※ ドキュメントから 負荷に応じてキャパシティがスケールアップ・ダウンするため、神
【AWS】AWS認定『ソリューションアーキテクト- アソシエイト』(SAA)に未経験から合格した話：学習の流れ - Rのつく財団入り口
実際の学習の流れ AWS認定『ソリューションアーキテクト- アソシエイト』(SAA)を攻略したので振り返るエントリの２回目です。１回目のふりかえりのエントリ、思いのほか多くのアクセスを頂きありがとうございました。当ブログのブクマランキングNo.5更新です。 今度は実際の学習に直接関わるところを、流れとして振り返ってみます。 実際の学習の流れ 参考書による学習 公式提供のリソースを参照する AWS Technical Essentials 1 AWS Technical Essentials 2 Developing on AWS 3冊目の本でまとめ学習 ネット上の問題集で学ぶ おまけ：各種数値も集計しておく 公式模試を受ける サンプル問題(見ませんでした) 受験日程を正式に決める Udemyの講座で学ぶ 当日まで無事に過ごす(予定) 試験会場の話 試験当日 試験会場へ テストセンターでの受
レプリカをオートスケールさせるAmazon Aurora Auto Scalingの導入ポイントをまとめてみた | DevelopersIO
Amazon Aurora Auto Scalingを利用すると、レプリカを動的にスケールアウトできます。 導入のポイントをまとめてみました。 Amazon Auroraデータベースはリードレプリカを最大で15個まで追加できます。 Auto Scaling policyを設定することにより、利用者の多い日中はレプリカを多めに用意し、利用者の少ない夜間はレプリカを減らすといった運用が可能です。 この機能の設定ポイントを解説します。 Amazon Aurora Auto Scaling について Amazon Aurora Auto Scaling はレプリカの平均CPU使用率・接続数に応じて、レプリカをオートスケールさせるサービスです。 スケールアウト方式のため、ワークロードに応じてレプリカ数を増減させるものであり、インスタンスタイプをスケールアップさせるわけではありません。 ECS でも利
社内データパイプラインツールを Mercari Dataflow Template としてOSS化しました | メルカリエンジニアリング
Merpay Advent Calendar 2020 の10日目の記事です。 こんにちは。Merpay Solutions Teamの @orfeon です。 ３ヶ月ほど前のブログ記事でメルペイでのFlexTemplateの活用例を紹介しましたが、ここで使われていたソフトウェアを先日、OSSとして公開しました。 この記事ではこのOSSとして公開したMercari Dataflow Templateについて紹介します。 BigQueryから取得したデータを別のDatabaseサービスに保存したり、異なるデータソースからのデータをSQLで結合・加工したり、AWSのS3にデータを出力したりなどなど、GCP上での何らかのデータの処理に関わられている方は役立つケースがあるかもしれないのでぜひご一読頂ければ幸いです。 Mercari Dataflow Templateとは何か Mercari Dat
sacloud/autoscaler でさくらのクラウドの水平スケールを試す - Hateburo: kazeburo hatenablog
さくらのクラウドでオートスケールを実現する sacloud/autoscaler が v0.1.0 で水平スケールに対応したので試してみます。 github.com yamamoto_febc さんのさくらのイベントでの発表資料はこちら speakerdeck.com sacloud/autoscalerの構成を知るためにはこの資料を最初に目を通すのをお勧めします。 またv0.1.0 以前からサポートしている垂直スケールにつてはこちらの記事もわかりやすいです！ qiita.com qiita.com とりあえず、今回の水平スケールは、サーバの増減とエンハンスドLBにサーバを参加させるところまでを試しました。 準備 サーバを2台とエンハンスドLBを作っておきます。 まず、autoscalerを動かすサーバを作成します。 名前: autoscale1 プラン: 1Core-1GB #最小 NI
はじめに ALB+Fargateという構成で動くWebサービスのスケールアウトが遅く、メディア露出や DM配信によるスパイクアクセスに耐えられない、という問題があり改善策を検討していた ところ下記記事を見つけました。 爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた 簡単に動作原理を説明すると、Fargateをオートスケールさせる場合、通常はECSのターゲット追跡 スケーリングポリシーなどを利用しECSサービスにおけるCloudWatchメトリクスとアラームを利用して タスク数などを制御します。 ただ、この場合、CloudWatchメトリクスからアラーム発報までにどうしてもタイムラグが有り数秒単位 でのスケーリングが難しく基本は分単位でのスケーリングとなっていました。 そこを、この「aws-fargate-fast-autoscal
主力事業のインフラをEC2基盤からECS/Fargate基盤に完全移行した話 - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 弊社のBOXILは、AWSを基盤としたRailsベースのアプリケーションです。 以前のブログでもECS移行におけるTipsを紹介しましたが、2020年10月頃よりEC2基盤からECS/Fargate基盤へのインフラ移行に取り組んでおり、2021年5月に新しい基盤が無事本番稼働を迎えました。 今回は、弊社BOXILのインフラ移行について、概要を紹介したいと思います。 BOXILのインフラについて EC2基盤の課題と移行の背景 EC2基盤のアーキテクチャ ECS/Fargate基盤のアーキテクチャ 移行による効果 Pros Cons まとめ BOXILのインフラについて BOXILは、弊社創業から程なくして誕生し、弊社と共に成長してきた主力プロダクトで、リリースから6年以上が経過しています。そんなBOXILのインフラは、プロダクト発足時からAWSのEC
Terraformモジュールを使ったCloud Spannerの設定標準化の取り組み | メルカリエンジニアリング
この記事は、Merpay Tech Openness Month 2023 の8日目の記事です。 メルペイのSREチームに所属しておりますt-nakataです。今回はメルペイでのTerraformモジュールを利用したCloud Spannerの設定標準化の取り組みについて紹介します。 Cloud Spannerの設定標準化とは？ メルペイのバックエンドではマイクロサービスアーキテクチャを採用しており、各マイクロサービスで利用するデータベースはCloud Spannerを主に利用しております。Cloud Spannerは基本的には各マイクロサービスを担当しているバックエンドエンジニアがTerraformを利用して構築し、運用します。(一部共用のインスタンスもあります。) その際に考慮する必要がある点が多々あります。たとえば、google_spanner_instance、 google_sp
背景 GKEのオートスケールは、便利ですがいくつか不満もありました。例えば、ノードによってトラフィックの割合が均一化されないと言う問題です。オートスケーラによってPodが増えた場合、新しいPodへのトラフィックはすぐに均一化される訳ではなく、段階的に上昇していきます。これはk8sのデフォルトでの負荷分散の仕組みに起因するものだと思うのですが、新しく作成されたPodが直ちに有効活用されません。この影響で、急なスパイクには対応しにくいですし、安全に運用するためにはオートスケールの条件を緩める必要がありました。 以下のチャートは、Podごとに負荷の推移を観察したものです。新しく作成されたPodの負荷が、既存のPodと同じ水準の負荷に増えるまで、2~3時間かかってるのがわかると思います。 コンテナネイティブ負荷分散を使ってみる 去年の10月、GKEでコンテナネイティブ負荷分散が正式リリースされまし
本資料は CNDT2023 の登壇資料です - CFP - Google Docs版 noteでは2023年9月に本番環境の全アプリケーションがKubernetes（EKS)で稼働させることができました。私たちはただKubernetesへの移行だけではなく、長年運用されてきたレガシーインフラの課題を解決するための多くの改善を併せて実施しました。特に、アプリケーションのパフォーマンスを維持するためのロードテスト、オブザーバビリティの強化、コンテナをデプロイするためにオートスケールするGithubActionsランナーを構築した事例、Kubernetesの仕組みをフルに活用し開発環境の即時展開を可能にしたシステムの事例など、このプロジェクトを通じて遭遇した課題やそれを乗り越えるための施策を実例を交えて詳細に解説します
Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド | Amazon Web Services
Amazon Web Services ブログ Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド この記事は Building container images on Amazon ECS on AWS Fargate を翻訳したものです。 コンテナイメージのビルドのプロセスは、アプリケーションのコード、ライブラリ、および依存関係を再利用可能なファイルシステムにパッケージ化することです。開発者は自分たちのコードと一緒に、コンテナイメージを組み立てるためのすべてのコマンドを含む Dockerfile を作成します。この Dockerfile は、Docker Engine に組み込まれているようなコンテナイメージのビルドツールを利用して、コンテナイメージを作成するために使用されます。ビルドされたコンテナイメージは、Amazon ECS や EKS のよう
Node-REDの機能や使い方を学ぶ、Node-RED UG勉強会「v1.0新機能＆ベストプラクティス紹介」。セッション「Appsodyで楽々実現！Node-REDをKubernetes上で動す方法 」では、Webベンチャー企業Joolenでエンジニアとして働く榎本陽祐氏が、Appsodyを使用してNode-REDをKubernetes上で動かすための方法について語りました。 Node-REDをKubernetes上で動かす 榎本陽祐氏（以下、榎本）：今回私は「appsodyというオープンソースを使ってNode-REDをKubernetes上で動かしてみよう！」という内容でお話させていただきます。 今回の簡単な流れですが、Node-REDのユーザグループのセッションなので、Kubernetesに関する説明を軽くしたあとで、たぶんappsodyという言葉自体を知っている方が少ないと思うので、
はじめまして！技術開発部セキュリティグループの花塚です。 LIFULL Creators Blogにセキュリティグループが登場するのは初めてですね。 セキュリティグループでは、脆弱性診断や脆弱性の調査、セキュリティツールの開発など、幅広い業務を行っています。 今回は、脆弱性可視化基盤を開発した話を紹介したいと思います！ 主に開発の経緯から、技術的な構成、そして、これからのことについて、まとめています セキュリティに関わる人にとって、少しでも参考になれば嬉しいです。 目次 目次 目的と経緯 脆弱性情報をスムーズにエンジニアに届けたい 組織全体で継続的に脆弱性対応をしていく風土をつくりたい 脆弱性可視化基盤を支える技術 機能 脆弱性スキャン ダッシュボード 全体の構成図 脆弱性スキャンの仕組み EC2インスタンス GitHub Docker Image 工夫した点 オートスケールされたインスタ
皆さんこんにちは、ソリューションスペシャリストの井上です。今回はAI/MLの世界で重要度が増してきているMLOpsについて解説してみたいと思います。 なぜ今AIが必要か？ いままでは世界の変化が緩やかで、過去データを分析すればおおよその未来予測はできました。 ところが今は変化が早く過去のデータがあまり役に立たない状況も出てきています。最近の例では新型コロナがありますね。「データには鮮度がある」という言葉を痛感することも多いのですがもちろんそれだけではありません。例えばZaraなどのFast Fashionに代表されるFast Inventoryモデルは従来のように1年前のデータから流行や在庫数を予測するのではなく、もっと短期間で売れる服を作って売り切るモデルで、最近このようなビジネスモデルが増えてきています。 そのために必要なリアルタイムデータを短時間で分析したり、リソースがなく利用してい
morishitaです。 先日、いこーよを Kubernetes に移行した件を紹介しました。 tech.actindi.net いこーよは Web だけで動いているわけではなく、裏で定期的に実行されるバッチ処理も行っています。 本エントリではそのバッチ処理の実行環境を Fargate ECS に移行した件について書きます。 移行前はどうなってた？ いこーよは Rails で開発しています。 バッチ処理というと、DB を集計したり、一斉に DB の値を書き換えたりするものがほとんどです。 そこで ActiveRecord のモデルを利用したいので、バッチ処理も Rails で実装しています。 つまり、Rails Runner で定期的にバッチ処理を実装したメソッドを実行しています。 移行前は、バッチ処理専用サーバがあって、crond で定期的に実行していました。 バッチ処理そのものやバッチ
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話 - ZOZO TECH BLOG
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（@snagasawa_）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「メモリ不足による配信処理の中断」と「リクエストタイムアウト後の意図しない処理の継続」です。一時はスケールアップによるメモリ増強を検討しましたが、後者の課題を解決できないためアーキテクチャの変更に着手しました。 結果として、App Engineが担っていた処理をBigQuery・Cloud Storage・Dataflow Batch Jobに置き換えることにより、この2つの課題を解決しました。加えて、配信対象ユーザ
ソニーグループ全体に内製環境「Enterprise LLM」を展開中 ソニーグループの事業内容は、エレクトロニクスからゲーム、音楽、映画、金融、半導体に至るまで多岐にわたる。2023年初めから取り組みを開始した生成AI活用でも、部署名（グループフェデレーテッドガバナンス部）の通り、各事業の自律を尊重しつつ、共通化するべき所は共通化し、グループ全体の競争力を最大化することを目指している。最初に登壇したソニーグループ DXプラットフォーム統合戦略部門 グループフェデレーテッドガバナンス部 統括部長 大場正博氏は「私達はクリエイティビティとテクノロジーを重要な競争力と捉えている。いかにスピード感を持ってこの変化に対応していくか。各事業部と共に活動を開始した」と述べた。 ソニーグループでは、生成AI活用の取り組みにおいて、まず「Democratization（民主化）」に注力した。その中核的な役割
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EKS Anywhereのファーストインプレッション - inductor's blog
「今のピクシブは、AWS、GCP、オンプレのすべてがアツい」 パブリッククラウド活用における、未来のための取り組み
インフラ設計と運営チーム – 大規模トラフィックを支えるDMM.comのインフラとその文化 - FLEXY（フレキシー）
ReviCoのパフォーマンスチューニング奮闘記 - ecbeing labs（イーシービーイング・ラボ）
GKE のオートスケール 5種類を概観する - QG Tech Blog
AWS Lambdaを使ってEC2停止忘れを通知してみた | DevelopersIO
Slackが2020年5月に起こした大規模障害の原因は何だったのか？
Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
【Serverless】写真のアップロード速度を爆速にした話 - Qiita
監視の最初の一歩目とそこからの育て方 - だいくしー(@daiksy)のはてなブログ
1分でわかるAmazon Aurora Serverless v2入門 | DevelopersIO
Fargateのスケールアウトを高速化する - Qiita
GKEのコンテナネイティブ負荷分散が想像以上に効果的だった話 - Qiita
CNDT2023: noteのEKS移設、ゼンブ見せます
Appsodyを使ってKubernetes上でNode-REDを動かす方法
脆弱性可視化基盤を開発した話 - LIFULL Creators Blog
【AI/ML】MLOpsで実現する成果の出るAIの作り方 - 赤帽エンジニアブログ
バッチ処理をFargateに移行した - アクトインディ開発者ブログ
ソニーグループの生成AI活用が本格化──内製「Enterprise LLM」とベクトルDBによる独自の環境構築