Twitter Rate Limitsに関するアップデート
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
Twitter障害はスクレイピングではなく“自己DDoS”が原因？
Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが
三井住友のOlive、過剰ポイ活に悩む 無料1円送金に警告 - 日本経済新聞
3月にスマホ上の総合金融サービス、Olive（オリーブ）を始めた三井住友フィナンシャルグループ（FG）が、ポイント集めに積極的な「ポイ活勢」に悩まされている。無料送金機能を利用し、他社の共通ポイントを得るために1円単位の送金を繰り返すアカウントが続出した。放置すればシステムに負荷をかけかねず、利用停止措置も辞さない構えで監視を強めている。「本来想定された利用形態と異なる極端な利用が認められた場
Re: NginxとApacheって何が違うの？？ - inductor's blog
これは何 以下記事のアンサーブログです。 qiita.com 以下のことはコメントに書いたんですが、書ききれなかった部分もあったり整理したほうがいいなと思い記事に起こしています。 現代のアプリケーションではC10K問題よりも先にDBやアプリケーションのボトルネックが先に来るため、C10K問題に遭遇するよりも先にやることがある ミドルウェアとしての成り立ちから設定ファイルの書き方に至るまで、それぞれのソフトウェアで思想が根本的に異なるので、単なるパフォーマンス比較をしてもあまり意味がない NginxとApacheの違いをC10K問題を中心に語るのは時代が違う この記事に限らず、多くの「Nginx vs Apache」系記事では「ApacheはC10K問題を抱えている」という論理をベースにそれぞれの違いを表現しています。 が、これは2022年においては(実際にはもっと前からですが)既に事実では
手軽に負荷テストができるツール「Taurus」がスゴい
modules: jmeter: version: 5.4.1 # ここに書いてあるバージョンを勝手にダウンロードしてくれる properties: log_level.JMeter: WARN log_level.JMeter.threads: WARN system-properties: org.apache.commons.logging.simplelog.log.org.apache.http: WARN 既存ツールのラッパーとして動作 デフォルトでは内部的にJmeterが実行されますが、以下のようなツールで作成されたスクリプトを流用することが可能です。 JMeter Gatling Locust Selenium Vegeta つまり、さきほどはYAMLでシナリオが記述可能とは言いましたが、もちろん既存のスクリプトを流用できるってことです。 いままで作り上げてきたスクリプトや
NTTドコモ、「テストです」誤配信によるアクセス集中で「d払い」「dアカウント」に自爆障害が発生してしまいお詫び : 市況かぶ全力２階建
永守重信のニデック、グローバルグループ代表の権限を強める定款変更案で岸田光哉社長の新体制に早くも暗雲が漂う
「MySQLのフェイルオーバーテストをする」と聞いてぼんやり思ったこと
TL;DR 負荷をかけながらフェイルオーバーテストをするなら、負荷クライアント側で「どの書き込みが成功したのか」のログは必ず取っておく でないと、フェイルオーバー起因でデータロストが発生するのかしないのかのチェックができない フェイルオーバーシナリオ スイッチオーバー(手動での切り替え)を含めてざっと思いつくのはこれくらい。 スイッチオーバー mysqldの正常終了 mysqldの異常終了、特に、mysqld_safeやsystemdがmysqldを再起動させてしまう環境 mysqldのハングアップ カーネルパニック ファイルシステムのハングアップ 電プチ スイッチオーバー たぶんHAソリューションを作る時にちゃんとテストするからこれはそんなに問題にならない気がするけれど、(レプリケーションベースのソリューションの場合)「レプリケーション遅延が起こってる時のスイッチオーバー」で何が起こるか
Webアプリ負荷試験ガイド - withgod's blog
Webアプリ負荷試験ガイド 目次 Webアプリ負荷試験ガイド 目次 前置き 時間がない人向け要約 about me 何故負荷試験を行うのか 負荷試験ツール 負荷掛けるツール 負荷計測 負荷の可視化 負荷試験の流れ 負荷試験スケジュールについて 注目すべきポイント シナリオ作成 アカウント情報は自動生成出来るようにする DB分割を行ってる場合はDB分割を意識したシナリオを用意する。 負荷試験元 http or https サーバ1台 サーバ単体での負荷 アプリの正常性の確認 サーバ複数台 KVS Memcached Redis RDB 問題になりやすいDB キャッシュの話 大前提 注意すべき点 CDNやProxyレベル local cache or remote cache local cache or memory cache(in app cache) references 更新情報 前
Netflix、欧州でストリーミング品質を低下 新型コロナのテレワークに配慮 YouTubeとAmazonプライムビデオも
Netflix、欧州でストリーミング品質を低下 新型コロナのテレワークに配慮 YouTubeとAmazonプライムビデオも 米Netflixは向こう30日間、欧州でのストリーミング品質を低下させる。新型コロナウイルス感染症（COVID-19）対策で在宅になった人々によるネット使用の急増で生じたネットへの負担を軽減する目的。英BBCなどが3月19日（現地時間）、Netflixの声明に基づいて報じた。 同日、欧州委員のティエリー・ブルトン氏が自身のTwitterアカウントで、「Netflixのリード・ヘイスティングスCEOと重要な電話会談を行った。COVID-19対策でわれわれは家に留まっている。テレワークとストリーミングは非常に役立つが、インフラへの負担になる。ネット接続を確保するため、HD（高精細）が必要ない場合は標準画質に切り替えよう」とツイートした。 Netflixはメディアに対し、こ
様々なrate limitアルゴリズム - Carpe Diem
概要 インターネットに晒されているWebサービスでは TV等で紹介されたことによる大量流入 悪意ある人物からの攻撃 クライアントのバグに依る大量リクエスト など、本来想定していた以上のトラフィックが来ることはよくあります。 単純にシステムを構築すると大規模トラフィックに対応できずシステムがスローダウンしてしまうため、何かしらrate limitをかけておいた方が良いです。 ただしrate limitと一口に入っても色々あるため、今回は主なrate limitアルゴリズムを紹介します。 Leaky bucket Leaky bucketはデータ転送レートを一定にする（＝上限を設定する）アルゴリズムです。 下の図のように、様々な流量の水流がそのバケツに流れ込んでも小さな穴からは一定の水流が流れ出す仕組みです。 ref: What is the difference between token
だれも教えてくれない、はじめてのテレビCMでやるべきことリスト｜takejune
📺 スタートアップとテレビCMWebサービスやアプリのテレビCMも今では珍しくないけれど、設立後数年の未上場ベンチャーが当たり前のようにそれをやるようになったのは、ソーシャルゲームが生まれ、スタートアップが資金調達しやすくなったここ数年の話です。 歴史が浅く、PDCAを回している会社が限られていることもあってか「CMの知見」はスタートアップの間であまり出回っていません。直近でCMを実施した某社も「知らなかった」というだけでずいぶんな苦労をしたようです。そのような情報格差をなくすためにも、僕がフリル(ラクマ)でCMを打ち続けて得られたことを、できる限りシェアしようと思います。 このエントリは、個人の経験/主観/バイアスに基づいた「知見」を書いているので、その前提で読んでください。 📖 目次1. コストについて 2. クリエイティブについて 3. サービス運用について 4. 成功指標につい
Locust.io
An open source load testing tool. Define user behaviour with Python code, and swarm your system with millions of simultaneous users. Tweet Follow @locustio Define user behaviour in code No need for clunky UIs or bloated XML. Just plain code. Distributed & scalable Locust supports running load tests distributed over multiple machines, and can therefore be used to simulate millions of simultaneous u
The Grinder, a Java Load Testing Framework
The Grinder is a JavaTM load testing framework that makes it easy to run a distributed test using many load injector machines. It is freely available under a BSD-style open-source license. The latest news, downloads, and mailing list archives can be found on SourceForge.net. Key features Generic Approach Load test anything that has a Java API. This includes common cases such as HTTP web servers, S
ミリシタを支えるGAE/GoをミリシタP向けに翻訳してみた - うしろのこの本ください
良いスライドなのに肝心のミリオンPからしたらちんぷんかんぷんな内容だったので未来ちゃに説明するつもりで噛み砕いていこうと思います。そこそこ長くなってしまった。 件のスライド ミリシタを支える GAE/Go from Google Cloud Platform - Japan www.slideshare.net 既に目を通したPも多いかと思いますが、４ページ目で一般人バイバイです。テクニカルタームの嵐です。 ミリシタの話をするのならせめてフリガナを振ってくれよな！カタカナにも！ GAEってなんだろ〜(●・▽・●) Googleとあるように、天下のGoogle様が提供する「アプリケーションを運営するためのプラットフォーム」です。 本来何らかのサービスを運営するためには、アプリ本体を置くサーバーやそれを配信するためのインフラ環境、大量アクセスへの対応、セキュリティ対策、データ解析、そしてアプリ
「メルカリ アッテ」を支える Google App Engine と Golang
2016年6月8日の appengine ja night #33 の発表資料です。
はてなで大規模サービスのインフラを学んだ - ゆううきブログ
中〜大規模サービスのインフラの様子を知りたいアプリケーションエンジニア向けに、もともとアプリケーションコードを書いていた視点から、個人的な体験をベースにはてなで大規模サービスのインフラを学んだ過程や学んだ内容の一部を紹介します。 Webアプリケーションのブラックボックス Webアプリケーションフレームワークの向こう側 なぜ複数のサーバが必要なのか 突然のWebサービス3層構成 リバースプロキシ アプリケーション データベース その他のコンポーネント キャッシュは麻薬 飛び道具としてのKVS/NoSQL 非同期処理 バッチ処理 Mackerelの場合 参考 まとめ Webアプリケーションのブラックボックス 今年もはてなインターンの時期が近づいてきた。 毎年ではないけど、はてなインターンでは「インフラ講義」というのをやっている。 今年はインフラ講義の講師としてアサインされたのでちょうど何を話そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[藤岡雅宣の「モバイル技術百景」] いよいよ始まった「副回線サービス」を支えるデュアルSIMのしくみに迫る![[藤岡雅宣の「モバイル技術百景」] いよいよ始まった「副回線サービス」を支えるデュアルSIMのしくみに迫る](https://cdn-ak-scissors.b.st-hatena.com/image/square/9328b214356146d2f40475da087d2641426ef943/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1492%2F460%2F00.jpg)
ゲームの移植を手がける「エムツー」 堀井直樹社長に聞く移植職人の技｜NHK
tsenart/vegeta: HTTP load testing tool and library. It's over 9000!
ミリシタを支える GAE/Go
