[B! cluster] y_yukiのブックマーク

同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis

y_yuki 2023/09/06

リンク

広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介 - クックパッド開発者ブログ

メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。背景従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと

y_yuki 2020/06/02

リンク

k8sでロギングってどんなやり方があるんかな？ - Mitsuyuki.Shiiba

と思ってここを読んでみたら面白かった。 kubernetes.io 理解したことをざっくりと書くとコンテナレベルからクラスタレベルへ Dockerからログを出力したとして、コンテナがクラッシュしたりノードが落ちたりしたときでもログは見られるようにしときたいよね。だから、ログの保存先は別にしといて、コンテナとかノードとかとは違うライフサイクルで管理したい。てのがクラスタレベルロギングって呼ばれてるコンセプト。クラスタレベルロギングの前に基本とノードレベルの紹介から。 k8sのロギングの基本コンテナから stdout とか stderr に出しとくと kubectl logs で見られる。ノードレベルのロギング (Image from https://kubernetes.io/docs/concepts/cluster-administration/logging/ ) コンテナから

y_yuki 2018/01/26

リンク

Amazon ElastiCache for Redis のリードレプリカの自動フェイルオーバのテスト | Amazon Web Services

Amazon Web Services ブログ Amazon ElastiCache for Redis のリードレプリカの自動フェイルオーバのテスト “信頼するが、確認する” – ロナルド・レーガン米国大統領、1987 このコメントで、レーガン大統領は、核軍縮条約の哲学について、ロシアの諺を引用しました。DevOpsにも同じ考え方が当てはまります！ Amazon ElastiCache for Redisは、自動化されたフェイルオーバとリカバリを備え、高可用性を提供しています。ElastiCacheクラスタを作成したければ、 Redis Cluster モードを使用し、クラスタ内のシャード数を設定します。各シャードには、1つのプライマリノード（読み取りと書き込み用）と0〜5つのレプリカノード（読み取りとフェールオーバー保護用）があります。1つのクラスタは、レプリカがゼロ（1ノード）のシ

y_yuki 2017/04/07

リンク

【新機能】Amazon Aurora で読み込みエンドポイントが利用可能になりました | DevelopersIO

ウィスキー、シガー、パイプをこよなく愛する大栗です。本日、Amazon Auroraで読み込みエンドポイント（Reader Endpoint）が発表されました。今までは、インスタンスエンドポイント（Instance Endpoint）とクラスターエンドポイント（Cluster Endpoint）が利用できましたが、新しいエンドポイントについて試してみました。読み込みエンドポイントとは現在Auroraには、以下の3種類のエンドポイントがあります。クラスターエンドポイントはWriterを指すエンドポイントで、インスタンスエンドポイントは各インスタンスを指しエンドポイントです。今回追加された読み込みエンドポイントはReaderを指すエンドポイントです。クラスターエンドポイント（Cluster endpoint）インスタンスエンドポイント（Instance endpoint）読み込みエ

y_yuki 2016/09/09

リンク

平和なConsul Cluster運用 / consul-casual-1 // Speakerdeck

Consul Casual Talks #1 http://connpass.com/event/35836/

y_yuki 2016/08/02

リンク

CentOS6(EC2)でMySQL Clusterを試してみる(複数サーバ編) | iret.media

以前紹介した記事「CentOS6でMySQL Clusterを試してみる(単一サーバ編)」にて、単一のサーバでの稼働が確認できたので、今回は複数サーバ(EC2 x 2)での確認になります。 ○各種プロセス(mysqld, ndbd, ndb_mgmd)の停止(両EC2で) # /etc/init.d/mysql stop Shutting down MySQL... SUCCESS! # killall ndbd # killall ndb_mgmd ○Hostsファイルに各ノードを登録(両EC2で) # cat /etc/hosts ... 10.160.102.121 mgmd-1 ndbd-1 mysqld-1 10.150.174.36 mgmd-2 ndbd-2 mysqld-2 ○設定ファイルの調整(両EC2で) # /etc/my.cnf ... [mysqld] ndbc

y_yuki 2015/12/11

リンク

PM2 - Home

Discover the Products We Built that Made our Customers Successful with the Node.js Techno logy. PM2 Process Manager Manage, Maintain and Increase Node.js Performance. We maintain the most widely used Process Manager for Node.js counting over 100 millions downloads. It's Open Source and you can use it right away with a simple: npm install pm2 -g Get started