超PayPay祭による高負荷にヤフーはどのように立ち向かったか
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年（2020/10/17～11/15）の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー
LINE LIVEを支える負荷テストの知見。ベンチマーク環境により信頼性の高いシステムを実現する方法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog サービス・機能やそれにまつわる開発の裏話や取り組みを聞く「ProductStory」シリーズ。2015年にスタートしたライブ配信サービスのLINE LIVE。いつでもどこでも、無料でライブ配信＆視聴が可能という便利さから、サービス開始以来多くのユーザーにご利用いただいてきました。昨今ではコロナ禍の影響からオンライン上で楽しめるエンタメの重要性が高まっており、LINE LIVEのニーズはさらに増しています。 サービスの信頼性を高めるため、LINE LIVE開発チームは、サービスに対する負荷テストを実施するために構築されたベンチマーク環境を用いています。定期的な負荷テストを行うことでパフォーマンス上の課題を洗い出し、システムのさら
負荷試験用 Web コンソールの開発 - クックパッド開発者ブログ
技術部 Site Reliability (SR) グループの id:itkq です。2020 秋タイトルで一番期待しているのはおちこぼれフルーツタルトです。本エントリでは、Web サービスの負荷試験に対する障壁を下げるために、汎用的な Web コンソール開発に至ったまでの話を書きます。 Web サービスの負荷試験の障壁を下げたい クックパッドでは、マイクロサービスを支える基盤が成熟しており、新規サービス開発や、サービスリニューアルなどの機能開発の場面では、疎結合な新規のマイクロサービスとして実装されることが多いです。このようなサービスをリリースする際は、予想されるトラフィックに対して、実際にそれを捌ききれるかどうかテストする、いわゆる負荷試験をすることは一般的です。これまで、サービスリリース時に、負荷試験をきちんと行うこともあれば、負荷試験を行わないこともありました。負荷試験が行われない
カオスエンジニアリングを導入したクックパッドの挑戦 マイクロサービス化に伴う可用性の低下に対応 - エンジニアHub｜Webエンジニアのキャリアを考える！
カオスエンジニアリングを導入したクックパッドの挑戦 マイクロサービス化に伴う可用性の低下に対応 料理のレシピ投稿・検索サービスのクックパッドでは2年前からカオスエンジニアリングに取り組み、さまざまな事例やノウハウを蓄積しています。クックパッドの技術部・SR（Site Reliability）グループの小杉山拓弥さんとDX（Developer Productivity）グループの鈴木康平さんに、導入の理由やさまざまな知見を伺いました。 カオスエンジニアリング（Chaos Engineering）とは、稼働中のサービスにあえて擬似的な障害を発生させることで、システムの耐障害性を検証する手法です。動画配信サービスを提供するNetflix社が2011年ごろから実践し、ソフトウェアや情報を積極的に公開したことで世界中から注目されるようになりました。 国内ではまだ導入事例も少ないなか、料理のレシピ投稿
3万同接で苦しんでたのに30万同接が楽勝になった話｜SUGAR株式会社｜note
こんにちは！SUGAR株式会社のCTOをしている杉谷と申します。SUGARという生放送システムを作っています。 “SUGAR is 何” については社長の鎌田(UUUM社長でもある)が https://note.com/sugarcorp/n/n2f3a0fe1a107 で解説していますので、よろしければご覧ください！ はじめに昔(もう13年前)にも生放送システムを作ったことがあったんですが、当時は技量と知見が足りず今みたいに便利なサービスやツールも無かったので負荷に弱く、数万人のユーザーが殺到すると落ちる、なんてことが頻繁にありました。 それから11年後、いろいろあって人生2度目の生システムであるSUGARを作ることになりました。今度こそはとガッチガチに負荷対策をしたところ某人気俳優の方の配信で三十数万人が一瞬で殺到してもなんとか死なない※システムを作ることができました。 ※正確には最初
Google Cloud、コンテナネイティブなロードバランス機能を正式版に。Kuberntesとの統合など強化
Google Cloud、コンテナネイティブなロードバランス機能を正式版に。Kuberntesとの統合など強化 Google Cloudは、Google Kubernetes Engine（GKE）でコンテナネイティブなロードバランス機能を正式版としたことを発表しました。 従来、コンテナに対するロードバランス機能は、コンテナが属するインスタンスのiptablesを経由してコンテナに到達していました（下図上）。 コンテナネイティブなロードバランス機能では、KubernetesのIngressコントローラに新しくNetwork Endpoint Groups（NEG）と呼ばれるレイヤが組み込まれ、これがコンテナを直接認識することで、コンテナに到達するまでのホップ数を減らし、効率的なトラフィック分散を実現しています（下図下） また、従来のロードバランサーはコンテナを認識しないため、コンテナに対し
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い
「Fate/Grand Order」ユーザー爆増の裏側で、エンジニアが挑んだデータベースとの戦い（1/2 ページ） スマホゲーム「Fate/Grand Order」を支えるインフラエンジニアが、ユーザーが爆発的に増える中で経験した、データベースの負荷対策を振り返る。 このほど国内累計1700万ダウンロードを突破した、スマートフォンゲーム「Fate/Grand Order」（FGO）。2015年7月末にサービスを開始し、18年には年間約885億円を売り上げた（ファミ通調べ）ほどの人気ゲームに成長したが、ユーザーが爆発的に増える中、運営元のディライトワークス社内ではインフラエンジニアが戦っていた。 彼らが経験した戦いの1つは、18年7月に実施したデータベースの負荷対策だ。同社の甲英明さん（技術部 マネジャー）は「ゲーム画面上に『ゲームサーバが混雑しています』と頻繁に表示されたり、画面が『Loa
総視聴数7400万でも障害ゼロ、AbemaTVが72時間のライブ配信に成功した理由 (1/3)：テラbps級のトラフィックに挑んだ「72時間ホンネテレビ」の裏側 - ＠IT
総視聴数7400万でも障害ゼロ、AbemaTVが72時間のライブ配信に成功した理由：テラbps級のトラフィックに挑んだ「72時間ホンネテレビ」の裏側（1/3 ページ） AbemaTV社が開催した「AbemaTV Developer Conference 2018」で、サイバーエージェント 技術本部 インフラエンジニアの柿島大貴氏は、2017年11月に配信した「72時間ホンネテレビ」を障害なく実現するため、開発本部が取り組んだ施策について説明した。 会員登録不要で、誰でも無料で視聴できるインターネットテレビ局「AbemaTV」。2017年11月2～5日、稲垣吾郎さん、草なぎ剛さん、香取慎吾さんの3人が出演した「72時間ホンネテレビ」は総視聴数が7400万を超え、配信内容に関する複数のハッシュタグがTwitterでトレンド入りするなど話題になった。AbemaTV社では、サーバを一度もダウンさせ
キャッシュ機能付きリバースプロクシ「Apache Traffic Server」を使ってみる | さくらのナレッジ
昨今ではWebサービスを運営する場合、リバースプロクシを介してサービスを公開するという運用形態が多く見られる。こういった構成の際に使われるリバースプロクシサーバーはいくつかがあるが、今回は優れたキャッシュ機能が特徴の「Apache Traffic Server」を紹介する。 HTTP/2にも対応するキャッシュサーバー Apache Traffic Serverは、Apache Software Foundation（ASF）傘下で開発が進められているキャッシュプロクシサーバーだ（図1）。ASF傘下のプロジェクトとしてはWebサーバー「Apache HTTP Server」が有名だが、Traffic ServerはHTTP Serverとはまったく異なるソフトウェアで、元々は米Yahooが独自に開発を行っていたものが由来となっている。2009年にオープンソース化されてApacheプロジェクト
GCP HTTP(S) load balancing 配下のnginxでクライアントIPを取得する方法 - Hateburo: kazeburo hatenablog
GCP HTTP(S) load balancing の X-Forwarded-For ヘッダは少し変わっているのでメモ。 X-Forwarded-For とクライアントIP ELBや他のproxyを使って、その配下のサーバにリクエスト元のIPアドレスを伝える際には、X-Forwarded-For ヘッダが使われます。 X-Forwarded-For: $remote_addr リクエストにすでにX-F-Fヘッダがあった場合は、後ろに追加します。 X-Forwarded-For: $http_x_forwarded_for, $remote_addr となります。 X-F-Fを受け取ったサーバでは、アクセス元のIPが信用できるIPアドレスまたはIP帯域の場合に、X-F-Fの最後のIPアドレスを、remote_addrとして利用します。 nginxでは ngx_http_realip_mo
TechCrunch
ZenML wants to be the glue that makes all the open-source AI tools stick together. This open-source framework lets you build pipelines that will be used by data scientists, machine-learning engineers AI and other deep technologies are the prevailing themes in the new early-stage cohort from Peak XV Partners, as the largest India and Southeast Asia-focused VC fund intensifies its search for opportu
nginxのTCPロードバランシングを試す - CLOVER🍀
先日、nginxのHTTPでのロードバランシングを試しました。 nginxのHTTPロードバランシングを試す - CLOVER 次は、もっと汎用的にTCPでのロードバランシングをしてみたいと思います。なお、今回はTCPのみで扱いますが、UDPでのロードバランシングも可能なようです。 ドキュメント 主要に利用するモジュール的には、 Module ngx_stream_core_module と Module ngx_stream_upstream_module の2つとなります。 また、こちらのドキュメントも参考にしました。 NGINX Docs | NGINX Load Balancing – TCP and UDP Load Balancer MySQLへの接続をロードバランシングしてみよう 今回のTCP接続の対象として、MySQLサーバーを持ち出してみます。 MySQLサーバーが、次の
フリーのLinuxロードバランサー3つを比較する (1/2)
関連キーワード Linux | プロキシ | Apache | ロードバランサ | 負荷分散 NginxのWebサイト《クリックで拡大》 複数台のサーバを運用して膨大な負荷を処理しているなら、ロードバランサーが役立つだろう。ベンダーはハードウェアアプライアンスとしてロードバランサーを提供しているが、無料で利用できるLinuxのロードバランサーソフトウェアもある。 ロードバランサーは、高トラフィックを処理するバックエンドサーバの応答時間を向上する。企業は一般的に、複数のバックエンドサーバで動作するアプリケーションやワークロードのフロントエンドとしてロードバランサーを使用する。理論上、負荷分散はあらゆる種類のサービスで可能だ。だが、実際に負荷分散の恩恵を受けられるのは、HTTPサーバとHTTPSサーバで行った処理の場合だ。 ロードバランサーは単一障害点をもたらす。だが、高可用性（HA）構成でロ
nginxによるTCPロードバランサー | メルカリエンジニアリング
SREチームの@cubicdaiyaです。今回はnginxによるTCPレイヤーでのロードバランスについて解説します。 ロードバランサーとしてのnginx nginxはHTTPやTCP、UDP等の複数のレイヤーでロードバランサーとして稼働させることができます。（TCPロードバランサーは1.9.0以降、UDPロードバランサーは1.9.13以降で利用可能です） また、ngx_http_ssl_module や ngx_stream_ssl_module を利用することでそれぞれのレイヤーでTLSを有効化することも可能です。 TCPロードバランサー用のモジュールを有効にする HTTPレイヤーでロードバランスするためのモジュールはデフォルトで組み込まれますが、TCP(とUDP)レイヤーでロードバランスするにはnginxのconfigureスクリプトに--with-stream(あるいは --with
村上総裁はCloudFlareをさくらVPS+WordPressの前に立てるべきだった | 高橋文樹.com | Web制作
この投稿は 7年半 前に公開されました。いまではもう無効になった内容を含んでいるかもしれないことをご了承ください。 先日、「乙武さん不倫の謝罪ホームページに見るプロの犯行」という記事が話題になりましたね。ネタがネタだけに、僕も超おもしろツイートをつぶやいたのですが、1ふぁぼで沈死しました。 新潮買ってきてしまった。「五体不満足からの一本大満足」というフレーズが思い浮かんだ。 — 高橋文樹@破滅派（地獄進行） (@takahashifumiki) March 25, 2016 さて、上述した記事ですが、バズった当日は503エラーを頻発して見られませんでした。はてなブックマークのブコメでもそのようなコメントが頻発しています。たぶんなのですが、さくらVPSあたりでWordPressを立てており、アクセス急増で憤死したという次第でしょう。 村上総裁といえば、面白いWebサービスをバンバン立ち上げる
ロードバランサのアーキテクチャいろいろ - yunazuno.log
少し前に，Facebookのロードバランサが話題になっていた． blog.stanaka.org このエントリを読んで，各種Webサービス事業者がどういったロードバランスアーキテクチャを採用しているのか気になったので調べてみた． ざっくり検索した限りだと，Microsoft, CloudFlareの事例が見つかったので，Facebookの例も併せてまとめてみた． アーキテクチャ部分に注目してまとめたので，マネジメント方法や実装方法，ロードバランス以外の機能や最適化手法といった部分の詳細には触れないことにする． 事例1: Microsoft Azure 'Ananta' MicrosoftのAzureで採用されている(いた？)ロードバランサのアーキテクチャは，下記の論文が詳しい． Parveen Patel et al., Ananta: cloud scale load balancing
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DMM inside
負荷分散技術を選ぶときに考えること
ネットゲームデータベース設計むかしばなし、あるいはとんでもないMMORPGの設計の話: 不倒城
スケールアウト再考
