同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
第1章 進化するHTTPの歩み ～ HTTP/1.1とHTTP/2をおさらいし、HTTP/3の基本を知る | gihyo.jp
HTTP/3入門 第1章進化するHTTPの歩み ～ HTTP/1.1とHTTP/2をおさらいし、HTTP/3の基本を知る この特集記事は2021年6月24日に発売されたWEB+DB PRESS Vol.123に掲載された特集1「HTTP/3入門」を再掲したものです。 先日2022年6月にHTTP/3を含むHTTP関連の仕様が正式なRFCとなりました。ここではRFCの正式リリースに伴い、いち早く変更点を抑え、囲みボックスを用いた加筆解説でわかりやすくお伝えしております。 特集のはじめに HTTP（Hypertext Transfer Protocol）の最新版であるHTTP/3が登場しました。HTTP/3では、より安全で速い通信が行えます。本特集では、今までのHTTPにあった課題と、HTTP/3で課題をどのように解決し、改善が行われたかを解説します。 本章では、HTTPそのものと各バージ
AWS内の通信がインターネットを経由しない今、VPC Endpointを利用する意味はあるのか？ | フューチャー技術ブログ
はじめにこんにちは。TIG村瀬です。 タイトルの通りですがAWS内の通信においてインターネットを経由しないことが最近になって公式ドキュメントに明記されたことを受け、改めてVPC Endpointの必要性について調べてみました。 Q:2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか? いいえ。パブリックアドレススペースを使用する場合、AWS でホストされているインスタンスとサービス間のすべての通信は AWS のプライベートネットワークを使用します。 AWS ネットワークから発信され、AWS ネットワーク上の送信先を持つパケットは、AWS 中国リージョンとの間のトラフィックを除いて、AWS グローバルネットワークにとどまります。 https://a
Kubernetesネットワーク 徹底解説
Kubernetesのネットワークの構築要件に対して、世の中には様々なアプローチがあります。 本書ではTCP/IPは知っているけれど、Kubernetesのネットワークの実現方法は知らない人向けに、メジャーな実現アプローチについてできるだけ噛み砕いてステップバイステップで体系的に説明します。
VPCエンドポイントを手を動かして学べる！AWS Hands-on for Beginners Network編#1 をやってみた | DevelopersIO
大阪オフィスのYui(@MayForBlue)です。 初心者向けにいろいろなAWSサービスの公式ハンズオン動画が提供されている AWS Hands-on for Beginners に Network編 が追加されていたので早速やってみました！ これまでの動画も活用していたのですが、今回の動画もとても良かったので、概要、やってみた感想などを書きたいと思います。 個人的になかなか触ることのなかったVPCエンドポイントについて学べるのが魅力的でした。 概要 AWSにおけるネットワークの基礎ということで、VPCの作成から、パブリックサブネットとプライベートサブネットの作成、両者の違いやインターネットとの通信経路を構築する方法、プライベートサブネットからNATゲートウェイやVPCエンドポイントを用いてセキュアにインターネットと通信する方法、ルーティングの基礎知識をハンズオン形式で学ぶことができます
「Linuxで動かしながら学ぶTCP/IPネットワーク入門」という本を書きました - CUBE SUGAR CONTAINER
表題のとおり TCP/IP に関する本を書きました。 今回は、そのご紹介です！ Linuxで動かしながら学ぶTCP/IPネットワーク入門 作者:もみじあめAmazon どんな本なの？ Linux を使って実際にネットワークを組んで動かしながら TCP/IP について学べる本です。 実際に手を動かすことで、より実践的で風化しにくい知識と技術を身につけることが本の目的です。 こんな人にオススメ 次のいずれかに当てはまるような方には、この本が参考になると思います。 ネットワークが専門ではない IT エンジニア、またはそれを志す学生さん 他の TCP/IP に関する本を読んだことはあるけど、身についている実感が少ない インターネットやインフラの技術についてよく知らないけど興味はある ネットワークを気軽に組んで実験できる環境の作り方に興味がある そして、この本を読んで試した後には、次のような効果が見
【書評】ゼロトラストネットワーク | DevelopersIO
オペレーション部 江口です。 以前から気になっていた「ゼロトラストネットワーク」の翻訳版がオライリーから発売されました。 https://www.oreilly.co.jp/books/9784873118888/ 早速読んでみたのでレビューしてみたいと思います。 書籍の概要 最近新しいセキュリティの考え方として注目されている「ゼロトラストネットワーク」について取りあげた書籍です。 ゼロトラストネットワークの概念、どのように構成するか、認証をどうするべきかなどを解説し、またGoogleやPagerDutyでの実際のシステムの事例などを紹介しています。 目次 1章 ゼロトラストの基礎 2章 信頼と信用の管理 3章 ネットワークエージェント 4章 認可の判断 5章 デバイスの信頼と信用 6章 ユーザーの信頼と信用 7章 アプリケーションの信頼と信用 8章 トラフィックの信頼と信用 9章 ゼロト
ゼロトラストネットワーク
ゼロトラストネットワークとは、ファイアウォールやVPNに代表される従来型のセキュリティ（境界防御モデル）が通用しなくなった現状を踏まえ、すべてのトラフィックを信頼しないことを前提とし、検証することで脅威を防ぐというアプローチです。近年、クラウドサービスやモバイルの普及により、セキュリティで守るべき内外の境界があいまいになってきたことにより、強く注目を集めています。本書は、ゼロトラストネットワークの概念と実装するために必要な知識が学べる解説書です。基本的な概念の説明に始まり、デバイス、ユーザー、アプリケーション、トラフィックの信頼を実際にどのように確立していくかについて、詳しく紐解いていきます。また、Googleのゼロトラストモデル「BeyondCorp」を含む2つの詳細なケーススタディも収録しており、実装に役立つ知識を深めることができます。 はじめに 1章 ゼロトラストの基礎 1.1 ゼロ
Azure ⇔ AWS間のサイト間VPNを試してみる | DevelopersIO
Azure -- AWS間のサイト間VPN接続を試してみます。 - 手順１: Azure VPN Gateway 作成まで - 手順２: AWS VPN Gateway 作成まで - 手順３: VPN接続設定 - 手順４: 確認 はじめに コンサルティング部の川原です。 業務で Azure ⇔ AWS間のVPN接続の検証をする必要が出てきました。 今回は下記のような サイト間 VPN接続環境(BGP無し) を構築して、実際にVPN通信ができることを確認しました。 構築の流れは下記のとおりです。 手順１: Azure VPN Gateway 作成まで 手順２: AWS VPN Gateway 作成まで 手順３: VPN接続設定 手順４: 確認 なお、本環境を構築するにあたって下記ブログを大いに参考にさせていただきましたm(_ _)m マネージドサービスだけでAzureとAWSを接続する方法。
【レポート】ネットワークデザインパターン Deep Dive #AWSSummit | DevelopersIO
こんにちは、岩城です。 2019年6月12日(水)〜2019年6月14日(金)の 3 日間にわたり、 千葉県の幕張メッセにて AWS Summit Tokyo 2019 が開催されています。 こちらで講演されたセッション「ネットワークデザインパターン Deep Dive」を聴講しましたのでレポートします。 概要 本セッションでは、お客様からよくご相談いただくネットワーク関連の課題とその解決方法にフォーカスし、ネットワークデザインパターンとしてご紹介します。新たなワークロードについてこれから構成検討する方、既存構成を最新化したいお客様に最適です。基本的なサービスの紹介は省略しますので、本セッションの前に予定されている「AWS ネットワークの構成パターンと設計のポイント」への参加も合わせてご検討ください。 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションア
現役エンジニアが選ぶ、ネットワーク初心者の勉強にオススメな本7選 - よし任せろ！
技術書に対して、馴染みのなさや苦手意識を感じている人は多いのではないかと思う。 僕もそうだった。ITの事はITを駆使して、本を使わずにお金もかけずに勉強すれば良いと思っていた。 しかし、振り返ってみると結局は本を使って勉強する時間が多かった。 情報の質がインターネットと変わらなかったとしても、体系的に集約された情報や一覧性の高さに書籍の価値があることに気がつき始めたからだ。 もちろん、気になった技術やど忘れした事を手早く調べるためにはネットが有効だ。 だが、初心者が体系的に学びたい場合は、本を使うとトータル的に時間が短縮できるのではないかと思う。 というわけで、2年ほどネットワークを勉強してきた僕が今まで読んでオススメだと思った本を紹介していこうと思う。 まだ初心者の域を脱していないかもしれない自分のことは一旦棚に置いておき、なるべくわかりやすいラインナップを心がけた。 ネットワーク知識の
パケット収集ツール「Moloch」で収集したパケットを分析してみよう | さくらのナレッジ
指定したネットワークインターフェイスを通過するすべてのパケットを収集して分析したい、という場合に適したパケットキャプチャツール「Moloch」では、Webブラウザ経由でアクセスできる「Moloch Viewer」経由で収集したパケットの分析が行える。今回はこのMoloch Viewerを使ったパケット分析機能を紹介する。 GUIでパケットの解析や検索が可能 パケット解析ツール「Moloch」は、大規模な環境にも対応したパケット解析ツールだ。特徴としては、サービスとして起動して常時パケットの収集を実行できる点などがある。 Molochの機能やインストール方法などについては前回記事で紹介しているが、Molochでは「Moloch Viewer」というWebインターフェイス経由で収集したパケットの閲覧や検索といった分析処理が行える。今回はこのMoloch Viewerの機能や使い方について紹介す
大規模サービスを支えるネットワークインフラの全貌
わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48
分散システムの耐障害性テストの取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの池添（@zoetro）です。 サイボウズが提供するクラウドサービスcybozu.comでは、アーキテクチャを刷新すべく「Neco」というプロジェクトを実施しています。 そのプロジェクトでは、サーバのライフサイクルを管理するsabakanや、Kubernetesクラスタを構築するためのCKE(Cybozu Kubernetes Engine)などの分散システムを開発しています。 安定してサービスを提供するためには、このようなインフラを支える分散システムの耐障害性が重要になってきます。 本記事では、我々のチームが分散システムに対してどのような耐障害性テストを実施しているのかを紹介します。 耐障害性を高めるために 機材故障 サイボウズの管理するデータセンターでは1,000台規模のサーバを扱っており、日常的にハードウェアの故障が発生します。 例えば、以下のような機材故障
AWSネットワーク構成図の手動更新が辛い？よろしい、ならばCloudMapperだ
株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOSというサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったらいつのまにかサービスのネットワーク管理者になっていて、そこで発生した問題と、それを解決するのに非常に役立ったCloudMapperというOSSを紹介したいと思います。 発生した問題 私がネットワーク管理者を引き継いだ段階では、ネットワーク構成図が作成されておらず、以下の問題が発生していました。 ロードバランサーを止められない 用途不明のロードバランサーが存在したため、停止を検討した。 しかし、どのリソースから利用されているか見えず、不用意に停止できなかった。 用途不明なEC2インスタンスの調査ができない AWSからメンテナンス通知が来た対象が用途不明なEC2
Linuxネットワークドライバの開発 - Handwriting
この記事はLinux Advent Calendar 2016 9日目の記事です。 遅刻してしまい申し訳ございません。。。 とある事情があって1ヶ月半ほど独自NICのLinux向けのネットワークドライバを開発していた。 今回はARM用のデバイスドライバを開発した。NICはXilinx社のFPGAであるZYBOを用いて開発した。 まだ十分に実用段階というわけではないが、ひとまず独自NIC経由でのpingやiperfが通ったので、後学のために知見を残しておきたい（誰得だ、という感じだが）。 ソースコードはまだ公開されていないが、そう遠くないうちに公開する予定（たぶん）。 はじめに Linuxのデバイスには キャラクタデバイス - バイト単位のデータ通信 (e.g. シリアルポート) ブロックデバイス - ブロック単位のデータ通信 (e.g. ディスク) ネットワークデバイス の3種類がある。ネ
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
AKIBA.AWS 第6回 ネットワーク基礎編：「VPN接続とルーティングの基礎」で発表しました #akibaaws | DevelopersIO
こんにちは、菊池です。 昨日、2018年5月10日にAWSをテーマにした勉強会、AKIBA.AWSの第6回目を開催しました。 AKIBA.AWS AKIBA.AWSは、AWSを利用しているエンジニアを対象とした勉強会です。 日々進化を続けるAWSの技術動向を追い、参加者が相互に情報交換し、スキルを高めていくことができる場所にしたいと思っています。一方的に情報提供をするのではなく、発表を通じて質問やディスカッションを行い、発表者・参加者の双方で議論を深めていくことをイメージしています。 4回連続でAWSネットワークに迫る！ 今回から隔週木曜、4回に分けて、AWSのネットワークをテーマにすることにしました。 ネットワーク編 第1回：基礎編 - AWSのネットワークサービスの基本 - 4/19（木） ネットワーク編 第2回：基礎編 - VPNとDirectConnect - 5/10（木）← 今
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ネットワークなんて触ったことないから分からない」という人も必見 AWSを題材にネットワークの基礎が学べる無料の電子書籍
NW-JAWS x Tech-on勉強会にて「AWS Transit Gateway で広がるネットワークアーキテクチャ」を話しました #jawsug #NW_JAWS #Techon東京 | DevelopersIO
