Knativeはサーバーレスのビルディングブロックであるという文脈でで説明されることが多く、本来メリットを受けることができるはずのKubernetes上のアプリケーションやマイクロサービスの開発者、運用・管理者などに便利な機能が伝わってない説があったりなかったりするようです。 サーバーレスや抽象化という「言葉から想像される何か」は人により異なり、共通の認識が築かれないまま議論がかわされ、具体的に検証されないのはとてももったいないことです。 以下はahmet alp balkan（@ahmetb）さんのKnative = Kubernetes Networking++を日本語訳したものです。この記事では、Kubernetes上のマイクロサービスを開発する中で発生する課題をKnativeがいかに解決するかが解説されています。Kubernetes Podcast #78 KUDO, with G
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の18日目です。 もう何年も前のことなのでもうそろそろ時効だろうと思い、誰かの学びになればとここに供養します。 やらかしちゃった出来事 ある日の保守作業 保守管理しているWebシステムの調査のためにOracle Databaseが動いているWindows Serverにリモートデスクトップ接続していました。 調査の過程でデータベースインスタンスにアクセスして状態を確認する必要が生じました。 普段は自分のクライアントPCにインストールしたデータベースクライアントツールでつないで確認していたのですが、その時は横着してサーバーにインストールされていたSQL Developer（OracleのGUIデータベースクライアントアプリ）を起動してしまいました。 固まる画面 じんわり起動していくSQL Deve
はい、どーも！モバイルアプリケーションサービス部、改め、CX事業本部の吉田です。 今回はECSのサービスをスケジュールベースでオートスケーリングさせる方法を調べたので、これを紹介します。 ECSのサービスをオートスケーリングするには？ ECSのサービスをオートスケーリングする機能は、コンソールからかんたんに設定可能です。 ただしその場合は CPU利用率 メモリ利用率 （あれば）ALBへのリクエスト数 といった項目のみです。つまりコンソールからはスケジュールベースでオートスケーリングをすることはできません。 Application Auto Scalingでオートスケーリングさせよう ただしApplication Auto Scalingをaws cliを使って設定することで、ECSのサービスもスケジュールベースでオートスケーリングさせることができます。 https://docs.aws.a
「アラート対応で疲弊してるチームが今できること」というタイトルでAKIBA.AWS ONLINE #04に登壇しました #AKIBAAWS | DevelopersIO
オペレーション部 加藤です。 今日は以下のイベントで登壇させていただきました。 【6/25（金）リモート開催】AKIBA.AWS ONLINE #04 – こんなときどうする⁉︎ トラブル・インシデント対応 編- #AKIBAAWS 監視運用の嫌なことあるあるを解消する、AWSの便利なツールのご紹介です。 発表タイトル「今できること」の通り複雑な設定が必要なツールはないので、もし気になるものがあればちょっとだけ触ってみてください。 資料 概要 監視運用4つのあるあるを解消できそうなAWSのツールを紹介させていただきました。 毎晩プロセス再起動のために起こされるマン 月末絶対来るけど静観するアラート なんとなくしきい値低めのWarning 対応する必要があるかどうかわからないアラート 過去の経験から、私は監視・インシデント対応には「自動化」と 「脱オオカミ少年」が必要と考えています。 インシ
生産性向上は一筋縄ではいかない Q&A [デブサミ2022夏] - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。生産性向上チームの平木場（@korosuke613）です。最近はよくダーツを投げています。好きな料理は辛麺1です。 この記事では、Developers Summit 2022 Summer で発表した「生産性向上は一筋縄ではいかない 〜改善を進める上で生じる課題との付き合い方〜」に寄せられた質問に対して回答します。 はじめに 先日 Developers Summit 2022 Summer というイベントで生産性向上チームの活動を発表してきました。 タイトルは「生産性向上は一筋縄ではいかない 〜改善を進める上で生じる課題との付き合い方〜」です。 Developers Summit とは翔泳社さんが定期的に開催しているソフトウェア開発者のためのカンファレンスです。 2022/07/21 に開催された Developers Summit 2022 Summer は「アジャイル・De
![生産性向上は一筋縄ではいかない Q&A [デブサミ2022夏] - Cybozu Inside Out | サイボウズエンジニアのブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f50c746256022d4a279ab6ba08733c18e5ce1282/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8454420450104491317%2F4207112889907995663%2F1669617091)
バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう | Amazon Web Services
AWS Startup ブログ バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう はじめまして、こんにちは。2020年4月にStartup Solutions Architectに着任しました、齋藤(Twitter: @koemu)です。 スタートアップ企業にお勤めのみなさま。AWSのサービスを利用される際に、インスタンスタイプはどのような基準で選択されていらっしゃいますでしょうか。その時に考慮の変数の一つとして価格を組み入れられているお客様は多数いらっしゃることと想像します。例えば、T2、T3およびT3aなどの比較的廉価なバーストパフォーマンスインスタンス(以下、T系インスタンスとします) 、Amazon EC2であればt3.mediamなどをご選択されるスタートアップ企業の方を見受けます。 さて、T系インスタンスには、性能面での他のインスタンスタイプにはない特
Cloud Run（Cloud Run on GKE でないほう）に Rails アプリケーションをデプロイします。 デプロイは下記の流れで進めます。 Rails アプリの Docker イメージをローカルで作成して、Container Registry に Push Cloud SQL インスタンスとデータベースを作成 ローカルで Cloud SQL Proxy を使って Schema Migration を実行 Cloud Run にアプリケーションをデプロイ 今回作成したソースコードは下記においてあります。 scripts/ 以下に gcloud コマンドの実行サンプルもおいてあります。 github.com Cloud Run Cloud Run は GCP での Knative のマネージドサービスです。 cloud.google.com cloud.google.com Kna
こんにちは、開発 Restaurant Service Dev Unit の寺澤(@locol23)です。 普段は React や Node.js による開発を主としており、パフォーマンス改善や、公開準備中の eslint-config-gurunavi のルール策定やライブラリ化を行っています。今回、Fastly CDN を導入しましたので、その経緯などを書かせて頂きます。 TL;DR 長期開発されているプロダクトのため、課題がいくつかあり、それらを解決するために Fastly CDN を導入しました Terraform を使用し、Infrastructure as Code を実現しました 導入した結果、ストラングラーパターンで改善ができるようになりました Fastly とは CDN や画像の最適化（Image Optimizer）、次世代 WAF などを提供しているサービスになります
CLOMOの本番環境をKubernetes化した話 - i Cubed Systems Engineering blog
アイキューブドシステムズでCLOMOシステムの運用・監視をしているd-tasakiです。プラットフォーム運用部という部署に所属しています。「CLOMOシステムを絶対に止めない！」を部署のミッションとして、システムの安定的な提供を日々心掛けております。 2010年にサービスインしたCLOMOはアーキテクチャを少しずつ変えながら成長してきました。途中でAWSからAzureへとクラウド基盤を移すこともありましたが、いわゆる仮想マシンをベースとしたクラウドシステムとして構築し、運用していました。 2019年8月末にそれまでの仮想マシンをベースとしたシステムから、コンテナーをベースとしたAzure Kubernetes Service (AKS)に乗り換えました。そのbefore/afterの話を今回は書きます。 前回はCLOMOの開発環境をDocker化した話だったので、アンサーソングのようになっ
こんにちは、サーバサイドエンジニアの@Juju_62qです。 今回はタイミーで実践しているECSのオートスケール戦略についてお話ししようと思います。 TL;DR タイミーではTarget Tracking ScalingとStep Scalingを組み合わせてオートスケールをしています Target Tracking Scaling -> 通常のスケールアウト・スケールイン Step Scaling -> スパイク時のスケールアウト 2つを組み合わせることで、様々なリクエストに対し適切なリソースを用意しています タイミーのアクセス量の変化とビジネス要求 タイミーのアクセス量の変化とこれまでのオートスケール タイミーは空いた時間に働きたい人とすぐに人手が欲しい店舗・企業をつなぐスキマバイトアプリです。 したがって、仕事の募集数や働いてくださるワーカーさんの数は世の中の動向に大きく左右されます
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
人・カネ・ものの足りないスタートアップにおいて、どのように工夫しているか発信する「スタートアップ事例祭り ～監視・モニタリング・セキュリティ編～」。ここではまーん氏が「スタートアップの人たちに捧ぐ監視再入門 in AWS」をテーマに登壇。まずは、そもそも監視をする意味から、監視のアンチパターンを紹介します。 自己紹介 はまーん氏（以下、はまーん）：監視ってまぁ面倒くさいですよね。「メトリクスとログ集めてるだけです」「無視してるアラートが実はいっぱいあるんです」「なんで監視してるんだっけ」。こんなことを思ったことないでしょうか。僕は昔、思ったことがあります。 僕のほうからは、今日の事例祭り始めるに当たってのイントロダクションというか。「システム監視ってなんだっけ」を考えて、AWS上で小さく、そして的確に監視を始めるためのスタートラインに立てるようなお話をします。 はじめましての方ははじめまし
Lancers本番環境のコンテナ化が完了しました | ランサーズ（Lancers）エンジニアブログ
Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。以下前回のブログから3ヶ月経ちましたが、ついにLancersのBatch、AppサーバーをEC2からECS/Fargateに移行完了しました。 そして長年自前で運用していたデプロイシステムを廃止して、CI/CDはCircleCIに完全統一しました。これにて、Lancersの全サービスをコンテナに移行完了となりました。 ※見ていない方はぜひ一読してもらえると幸いです。 ・LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました 旧開発環境、EC2での運用課題 Ansibleコンテナによる開発環境の統一により工数がかかる 本番コンテナ化以前は、EC2で利用しているAnsibleの管理を開発環境にも適用す
「Google Cloud Game Servers」ベータ公開。マルチプレイヤーゲーム向けサーバ群をマネージドサービスで提供
「Google Cloud Game Servers」ベータ公開。マルチプレイヤーゲーム向けサーバ群をマネージドサービスで提供 Google Cloud Game Serversは、マルチプレイヤー向けゲームサーバのオープンソース実装である「Agones」を、Kubernetes上で運用し、マネージドサービスとして提供するものです。 AgonesはGoogleとUbisoftが共同でオープンソースとして開発を進めてきたゲーム専用サーバソフトウェア。 ゲーム専用サーバは、FPS（ファーストパーソンシューター）、MMO（大規模多人数参加型）、MOBA（マルチプレーヤーオンラインバトルアリーナ）などのタイプのゲームを実装するために使われています。 AgonesはKubernetes上で稼働することを前提に開発が進められてきたため、Kuberntesの機能をネイティブに使いながらクラスタのオートス
Sidekiq のワーカーノードをオートスケールさせてEC2の稼働コストを60%削減させるまで - Qiita
「Sidekiq のワーカーノードが稼働する EC2 インスタンスをオートスケールしたい」という依頼人の願いを、匠が叶えます。 このストーリーの登場人物は以下の2人です。 依頼人 = アプリケーションエンジニア or マネジメント層（適宜文脈によって読み替えてください） 匠 = インフラエンジニア Before まずは依頼人が抱えるお悩みについて話を聞いてみることにします。 インフラ構成 依頼人のサーバ構成は、 Sidekiq では標準的な構成を採用していました（図1, 2）。 Web ノードでタスクを Redis 登録し、 Worker ノードで Redis からタスクを取り出し実行します。 Web ノードは API として外部に公開されているほか、 Sidekiq の GUI として利用しています。 各ノードは AutoScalingGroup を構成していますが、台数固定で稼働してい
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「ZOZOTOWN HTTPS化におけるSREチームのアプローチ」に登壇したのは、株式会社ZOZOテクノロジーズ開発部、リプレースチームの鶴見純一氏と杉山弘二氏。講演資料はこちら Azure SQL Database 節約術 鶴見純一氏（以下、鶴見）：「ZOZOTOWN Azure SQL Database 節約術」ということで、鶴見と杉山の2名で発表します。 まず、自己紹介をさせてください。 ZOZOテクノロジーズの開発部リプレースチーム リーダーの鶴見と申します。
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター の山下です。 今回はユーザーに合わせてオートスケールするGitHub ActionsのRunnerについて紹介しようと思います。 課題と目的 公式の推奨している方法について 構築の手順 事前準備 terraformの実行 terraformファイルの作成 terraformの実行 GitHub Appにhookの設定を追加 実際に利用する場合 まとめ 課題と目的 GitHub Actionsを使ってCIを実施するのは一般的になってきています。 ISIDでもGitHub Actionsを活用してCIを実施しています。 しかし、GitHub社が提供しているrunners(GitHub-hosted runners)では困る場合があります。「GitHub Actionsでオンプレミス環境のCI/CDを実行する方法」の記事で
クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでアイレット株式会社の古屋氏が登壇。「うんうん、それ（EC2+ASG）もまたCloudNativeだね」をテーマにCloudNativeについて紹介します。 みなさん、CloudNativeしていますか？ 古屋啓介氏（以下、古屋）：それでは「うんうん、それ（EC2+ASG）もまたCloudNativeだね」ということでお話しします。私は古屋と言います。アイレット株式会社のcloudpackに所属していて、ふだんはAWSやGoogle Cloudとイチャイチャするのが仕事です。 さてみなさん、CloudNativeしてますか？ CloudNativeとは。CLOUDNATIVE DAYSに参加したことがある方なら、何回か見ていると思いますが、これはC
施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog
こんにちは、アンドパッドSWEの あかりです。 最近子供が産まれて、よく抱っこ写真を撮るのですが、写真を振り返るといつも自分だけ同じ服装をしているのを少し恥ずかしく思ってきた今日この頃です。 ちなみに、息子は毎曜日服装が違うほど服を持っていて、家族一のおしゃれになっていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスについて、その非同期処理基盤をBlue/Greenデプロイ化しました。このデプロイフローの変更は大きく2段階を踏んで実現しています。本記事では、その後半部分の「非同期処理基盤を実際にBlue/Greenデプロイ化した話」について説明します。前半部分に当たる、非同期処理基盤から定期実行ジョブの処理基盤を抽出・分離した話についてはこちらの記事をご参照ください。 2. 前提の説明 施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました
![施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8745fec23b70fa77e165c822bc1bb1c4f48e6a16/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Farm4%2F20230209%2F20230209121742.png)
GitHub-hostedライクなself-hosted Runnerを管理するツールを作った 2020/12/20 / whywaita / 0 Comments こんにちは、whywrite.it CI班のwhywaitaです。 この記事はCyberAgent Developers Advent Calendar 2020 20日目の記事です。 昨日の担当はdears31さんの社内勉強会を作ったはなしでした。 私も以前勉強会を立ち上げていたりするのですが、継続することは本当に大変ですよね。 私は普段プライベートクラウド(Cycloud)の開発運用を行っています。直近だとISUCON10のインフラ提供などをやっていました。 GitHub ActionsのGitHub-hosted Runner GitHub Actionsを実行する環境(runner)には、GitHubが全てを管理してく
こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ
オリジナルグッズ作成・販売サービス「SUZURI byGMOペパボ」に関わるエンジニアメンバーや事業部長が登壇し、SUZURIの開発の今や、現在の課題・今後の取り組みについて話す「43万人超のクリエイターの表現活動を支える！ECプラットフォームSUZURIの開発の裏側」。ここでモバイル／Webアプリケーションエンジニアの時田氏が登壇。SRE活動として行っていることを紹介します。 自己紹介と今日話すこと 時田理氏（以下、時田）：「SUZURIにおけるSREの取り組み」というタイトルで発表します。よろしくお願いします。自己紹介です。「SUZURI」というサービスのモバイルと、Webアプリケーションエンジニアをやっています。 今日話すことです。すみません、最初におことわりなんですけど、最初の仮のタイトルではFlutterに関する登壇をする予定だったんですが、今日はちょっとFlutterの話はしな
こんにちは、ストリーミングチームの松本です。 今回はミラティブの配信の画質を向上させるために行った対応の概要をご紹介したいと思います。 目次 目次 スマホゲームの配信の画質を改善したい 映像のエンコードの負荷が大きくなってしまう 映像のエンコード時のビットレートを高くする必要がある ミラティブでの配信画質改善への取り組み 映像ビットレートの向上 アップロード速度の調査 アップロード速度のでない配信ユーザーへの救済措置 映像ビットレートの動的な調整 配信サーバーの台数・コスト見積もり・増設 配信サーバー増設に関連する対応 サービスイン・サービスアウトの自動化 段階的なリリース まとめ We are hiring! スマホゲームの配信の画質を改善したい 配信の画質を改善したい場合には、画質が悪いとはどういうことかについて考える必要があります。 多くの場合画質が悪い一番の大きな理由は「配信される
Amazon ECS Capacity Provider と Fargate Spot と ECS Cluster Auto Scaling を整理する - 平常運転
ラスベガス帰りの id:astj です。 今年も re:Invent ではたくさんのサービスリリース/アップデートがあって目が回るような思いでした。現地にいたからキャッチアップできた中身もあれば、しれっとリリースされていて現地でセッションを聞いてるだけだと気づきそびれた中身もあって物量に圧倒されております。 さて、本稿では2019年の re:Invent で発表された ECS 関連のリリースのうち、以下の3つを中心に整理してみようと思います。 Amazon ECS Capacity Provider AWS Fargate Spot AWS ECS Cluster Auto Scaling 遅くなりましたが（ダブルミーニング）、このエントリは はてなエンジニア Advent Calendar 2019 の12/9分のエントリです。ラスベガス時間ではまだ 12/9 ではないでしょうか。そうい
はじめに 「AWSにコンテナをデプロイして稼働させたい！」 と思っている方は多いかと思います。 ただ、「理解ができん」「むずくね？」と挫折する人がいます。 ポイントを抑えれば、簡単と言うことをこの記事ではお伝えしたいと思います。 今回の記事は、AWS Fargateの 「 Hello World !」 と思っていただけたらと思います。 この記事の対象者 Fargateを勉強したい方 Fargateに興味ある方 ※初心者向けです 本題 1. 事前知識 マネージコンソールで操作をする前に以下を理解してから始めましょう。 ★コントロールプレーン & データプレーン まずは、ここの理解が必要です。Fargateを調べていると "ECS"やら "EKS"が出てきて混乱してしまします。その部分の整理をまずはしましょう。コンテナを運用していくにあたり、「コントロールプレーン」と「データプレーン」の2つに
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ
20億req/dayを受けるレコメンドサービスの裏話。Smart Channelが直面する問題とその対策
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「20億req/dayを受けるレコメンドサービスが直面する問題とその対策」です。 LINEアプリのさまざまな場所にレコメンドを届けるSmart Channelは、日本・タイ・台湾の合計1億6,700万ものユーザー（MAU）に向けて、毎日1,
今更だけどアイカツ！16話のチケット5万枚を2秒で売り切るシステムについて本気で考察してみた - くりにっき
発端 お前誰よ？ 前置き 構成 webサーバ データベース 決済システム 負荷試験 当日の監視 まとめ 余談 発端 この後20時からBNP公式YouTubeチャンネルで「アイカツ！」「アイカツフレンズ！」第16話を配信されるよ☆プレミア公開後はアーカイブされるのでそちらもチェックしてね♪ アイカツ！20:00〜https://t.co/6KcqOCSeR4 アイカツフレンズ！20:30〜https://t.co/rezQITX0eM#aikatsu #aikatsufriends— アイカツプラネット！&アイカツオンパレード！アニメ公式 (@aikatsu_anime) 2020年12月1日 アイカツ16話見てるんだけど「チケット5万枚が2秒で完売」ってそれを売り切るシステムも相当やばいな・・・・（ISUCONより難易度高そう）— sue445 (@sue445) 2020年12月1日 普
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。さらに「Push型のデプロイ」と「Pull型デプロイ」について話します。前回はこちらから。 Push型のデプロイ macopy氏：というわけで、（ここまで）アーキテクチャやプログラミングインターフェイスに関してデプロイの技術を紹介してきましたが、ここからはサーバーへの反映方法について紹介しようと思います。 今までずっとFTPをやっていましたが、FTPの説明をしていないですよね。ですが、まぁ（先ほどデモを）やったからいいかなと思っていて。（FTPを）使ってデプロイしていたのでとりあえず省略。ああいう感じでファイルをそのままピュッと上げるインターフ
i. アタッチされていない不要なElastic IPアドレスが無いか確認する これは今回の料金体系が適用される前にも有効な対策です。（現時点でも課金対象のため） 「1.現状把握」章でも紹介しておりますが、まずはアタッチされていない不要なIPv4アドレスが無いか、Amazon VPC IP Address Manager (IPAM)から確認します。 関連付けれていないEIPが想定より多い場合は削除を検討します。 「不要な」と記載した通り、将来的に利用を想定しているEIPは誤って消さないように注意しましょう。 また、ただ単純にEC2へのSSH/RDPのためにIPv4アドレスを利用している場合は、Systems Manager Fleet Managerや、EC2 Instance Connect Endpointを代替利用できる可能性があります。 アタッチされているIPv4アドレスに対しても
Next.jsのコンテナからVercelへの移行とISRを有効化する際のハマりどころ - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部Webアプリケーション開発課でフロントエンドエンジニアをしているnerikeshiです。主にTypeScriptでReactアプリケーションの開発をしています。 本記事では、コンテナで稼働させていたNext.jsアプリケーションのVercelへの移行と、それに付随して行ったISR導入時に起きたハマりどころについてお話しします。 本記事は同じWebアプリケーション開発課でバックエンドを担当しているフサギコ(髙﨑)との共同執筆記事です。 一迅プラスとは 以前の一迅プラス フロントエンドに関するインフラ構成の見直し Vercelへ移設するにあたって遭遇した迷いどころ、ハマりどころ DNSレコードの設定 SSL証明書 ISRページが404になったときのrevalidateの挙動について バックエンドがフロントエンドからのアクセスをIPアドレスで制限できない 一迅
Kinesis Data Streams + Lambdaが詰まった時の対処法(RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 登壇資料) - でこてっくろぐ ねお
このエントリは RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 - connpass での発表内容、及びはてなエンジニア Advent Calendar 2019の20日目のブログ(若干フライングで投稿しています！)です。 AWS re:Inventのセッションの一つである SVS323-R1 - REPEAT 1 Mastering AWS Lambda streaming event sources を元ネタに、re:Invent 2019直前に出たKinesis Data Streamsの新機能の解説をします。 基本的な用語説明 Kinesis + Lambdaの活用事例 Kinesis + Lambdaのスループットが思ったように出ない時、及びその対処方法 シャードを増やすのは万能なのか？他の手はないのか？新機能のご紹介 シャー
Podのリソース余剰を解消した話
下図は、この設定で稼働するアプリケーション Pod の 1 日における CPU requests に対する CPU 使用率の推移(%)です。 1日の CPU requests に対する CPU 使用率の推移 (%) これを見ると、平時 (9:00-17:00) の CPU 使用率は 30% 〜 40% の間に収まっていることがわかります。また、ピーク帯でも CPU 使用率は 60％ 前後にとどまっており、1 Pod あたりのリソースを余らせてしまっていました。 このリソース余剰は、CPU requests と minReplicas の設定が大きいこと、そして HPA のスケール閾値 (平均 CPU 使用率 60%) が低いことに起因します。 そこで、安全稼働を意識しつつリソース効率を向上できるように、設定値の見直しを行いました。 各リソースの設計方針 各リソースについての設計方針と見直し
Azure Advent Calendar 2019 9日目の記事です。 担当は@saboyutakaです。 Azureには様々なサービスがありますが、今回はWebアプリケーションを作る時に利用するマネージドサービスを使って作るWebアプリケーションスタックを3つの構成パターンで紹介していこうと思います。 Azure App Service で単一アプリケーションを構築する Azure Front Doorを使って複数のアップストリームを構築する Azure API Managementを使ってMicroservices化する Azure App Service で単一アプリケーションを構築する 構築イメージ Webアプリケーションを単一のランタイムで作成します。Laravel, Ruby on Rails, Django, Express, Wordpress などを構築するイメージです
【レポート】Kubernetes on AWS（Amazon EKS実践入門） #AWSSummit | DevelopersIO
こんにちは、坂巻です。 2019/6/12(水)～14(金) の期間で開催されている、AWS Summit Tokyo 2019からセッションをレポートします。 本記事は「Kubernetes on AWS（Amazon EKS実践入門）」のレポートになります。 セッション情報 スピーカー：河野 信吾氏 （アマゾン ウェブ サービス ジャパン株式会社） コンテナオーケストレーションツールとして人気のKubernetesですが、まだ利用に踏み出せていない方も多いのではないでしょうか？AWSではKubernetesの運用を支援するAmazon EKSを提供しています。本セッションではKubernetes初心者の方を対象に、Amazon EKSの概要や始め方、アプリケーションのデプロイを通じて具体的な利用イメージを持っていただきつつ、より効果的でAWSらしい設計手法をご理解いただきます。 レポー
ActiveJobでKubernetesのJobを作れるgemを作った - 気まぐれ開発日記
https://github.com/yuemori/kube_queuegithub.com 概要 ActiveJobでKubernetesのJobを作るgemを作ったよ ActiveJob作る場合はrailsのソースコードを読むのがおすすめ KubernetesのAPIを叩くのは意外と簡単で楽しい きっかけ ruby-jp slackの #container チャンネルで、kubernetesでのsidekiqが話題になりました。 そういえば、個人的にsidekiqのdockerでのデプロイをいい感じにできないものかと悩んでいます。 デプロイする前にsidekiqのquietして、workerプロセスが全部死んでから、 デプロイする必要があって、長いジョブがいるとなかなかデプロイされずに困るんですよね。 コンテナじゃなければ、quietした後、同じサーバーの中でまたsidekiqを立ち
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Knative = Kubernetes Networking++の全訳 - Qiita
不用意にサーバーでアプリを起動してハングアップさせてしまった話 - Qiita
ECSをスケジュールベースでスケールさせる | DevelopersIO
Rails アプリケーションを Cloud Run にデプロイする - こうさくきろく
Fastly を導入しました！ - ぐるなびをちょっと良くするエンジニアブログ
ECSで通常時とスパイク時のオートスケールを運用する - Timee Product Team Blog
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
【Cloud Run】ElasticsearchをCloud Runで運用する
AWS から OCI に移行してコストを約半額にした話 - Qiita
システムの価値を維持・向上させるために必要な“監視” 5つのありがちなアンチパターンとベストプラクティス
セールのときだけスケールアップさせたい––ZOZOTOWNのAzure SQL Databaseコスト節約術 Part1
コスト安なCI環境を目指してオートスケールするCI環境を構築する - 電通総研 テックブログ
うんうん、AWSのEC2+ASGもCloudNativeだね 人が考える余地を減らすことこそ“CloudNative”だ
GitHub-hostedライクなself-hosted Runnerを管理するツールを作った
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
インフラの整備、SLIとSLOの設定、セール対策 Railsアプリケーションのユーザ体験を支えるSREの取り組み
ミラティブでの配信画質改善の取り組み - Mirrativ Tech Blog
【初心者必見】AWS Fargate の使用方法徹底解説 - Qiita
分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
冗長化に伴うPush型デプロイの難点を補うために “自律的に”動く「Pull型デプロイ」という提案
AWS環境上のIPv4アドレス数を減らしたいときに確認するチェックリスト | DevelopersIO
Azureのマネージドサービスで作るWebアプリケーションスタック - Qiita