よわよわエンジニア😪 on Twitter: "強強エンジニアの人曰く、駆け出しバッグエンドエンジニアのほぼ100%がシステム障害時、とくに負荷上昇時の課題の切り分けができない説。逆にインフラ領域まで踏み込んだ調査ができると市場価値が一歩上がるらしい。 自分が読んで良かった記事をまとめる👇"
“わずか10分”で「負荷試験環境」の構築が可能に クイックにチェックできる状況をサクッと作れる、Linode活用法
StackScript、k8s、Terraformを使って、Linodeで負荷試験環境を自動で構築する方法について、アカマイ・テクノロジーズの岡本英輝氏と佐藤裕行氏が、実際のデモを交えて紹介しました。後半はLinodeを使った負荷試験のデモとQ&Aについて。前半はこちら。 Linodeのメリットが得られやすいユースケースとは？ 佐藤裕行氏（以下、佐藤）：後半は、Linodeのユースケースについて、少し岡本さんと話を進めていきたいと思うんですけども。今回はアプリケーションの負荷試験にフォーカスして、デモなども見せていきます。 その前に、負荷試験以外のサービスでいうと、こういうのに向いているとか、こういうのに向いてそうなところって、なにか感覚として持ってたりしますか？ 岡本英輝氏（以下、岡本）：前半に続いて、ちょっと転送量コストの話ばっかりになってしまうんですけど、やはりアウトバウンド転送量を
社内GitLabの大型マイグレーションをした話 - Qiita
はじめに この記事は富士通クラウドテクノロジーズ Advent Calendar 2021 の 15 日目の記事です。 こんにちは。富士通クラウドテクノロジーズ株式会社 (FJCT) でエンジニアをしている @aokuma です。 昨日の記事は エンドエンジニアの @seumo 氏による SmithyでAPIリファレンス作成してみよう でした。 Smithy、現在は主に AWS SDK の実装として使われているみたいですが、多言語 SDK が求められるサービスプロバイダーにとって、このような仕組みがオープンになるのはとても嬉しいですね。利用できる言語が更に拡張されるのを期待しています！ さて、今日は弊社の開発基盤の中心である 社内 GitLab の大型マイグレーションを実施したお話をしようと思います。 背景 現在、弊社の開発基盤の中でコード管理...にとどまらず、プロジェクト管理や Dev
「レジ袋を買って複数回使うほうがエコ」専門家が指摘 実はエコバッグ使用で環境負荷に | AERA dot. (アエラドット)
イラスト／土井ラブ平（ＡＥＲＡ６月１４日号から） レジ袋有料化が始まって間もなく1年。エコバッグを持参して買い物に行く人は多い。だが、それは本当にエコなのだろうか。AERA 2021年6月14日号の記事を紹介。 【アンケート結果】レジ袋をもらっている人はどのくらいいる？ ＊ ＊ ＊ レジ袋有料化で実際にポリ袋の使用量は減らせているのだろうか。サステナビリティコンサルタントの安藤光展さん（39）は悲観的だ。 「有料化以降のプラスチックごみ発生量について、データはまだ出ていないのですが、エコバッグの使用が広まってもポリ袋を使う機会は相変わらず多く、『何割かは減っている可能性があるが、正直あまり期待できない』が私の見解です」 さらに安藤さんは、「エコバッグを持つこと自体」にも警鐘を鳴らす。環境省の調査では、エコバッグを「複数持っている」と回答した人は7割以上。 英国の環境庁が2011年に発表
Nginx + lsyncd で WordPress を負荷分散させる - dogmap.jp
最近、め組ことデジタルキューブさんと、一緒に仕事をやらせてもらってます。 今の所は、主に WordPress サイトの高速化とかやってるんですけど、その中で WordPress サイトを複数台のサーバで負荷分散させて高速化させる案件があったので、その時の作業内容をシェア。 最近はさくらの VPS とか、低価格の VPS が出てきてるので、個人でも手を出せる領域かもしれませんね。 今回は2台のサーバを使って PHP の処理を負荷分散しました。 構成は、こんな感じです。 プライマリサーバ ( vps1.example.com : 192.168.0.1 ) Nginx, Load Balancer、PHP FastCGI のアプリケーションサーバ lsyncd (リアルタイム rsync を実現するためのサービス) セカンダリサーバ ( vps2.example.com : 192.168.0
０円の広域負荷分散システムCloudFlareが素晴らしい件 | fladdict
fladdictの非公式プロジェクト（いわゆる裏dicct）に、posemaniacs.com というサービスがある。 絵のデッサン素材を無料配信するサイトだけど、いつのまにやら老舗サイトに。気がついたら1日の転送量が30〜40GBまで膨れ上がっていた。あまりの負荷にホスト元のhetemlさんでアクセス規制、あわや閉鎖の危機の大ピンチ。わりと本気で、Pixivとか星海社とかマール社にサービス譲渡とかしようか悩んだ今日この頃でした。 そんな折、@ku_suke さんのご了解で導入してみた、CloudFlareというサービスが、全ての危機を救ってくれた。マジ多謝です。 どういうサービス？ CloudFlareはCDN（広域負荷分散システム）。世界5カ所にデータセンターを有し、データをキャッシュして各地に配信するこで負荷分散してくれる。いわゆるAkamaiの同類だけど、ものすごい特徴が１つある。
DSASのいろいろ
Copyright © KLab Inc. All rights reserved. 2007年2月2日 KLab 株式会社 Kラボラトリー ひろせ まさあき DSASのいろいろ 第9回 オープンソーステクノロジー勉強会 1 Copyright © KLab Inc. All rights reserved. 自己紹介 2 Copyright © KLab Inc. All rights reserved. 個人的な自己紹介 z 名前：ひろせ まさあき z id:hirose31 で、はてダラってます z あと… z 一応CPAN author （1コだけ…） z 一応PEAR author （これも1コだけ…） 3 Copyright © KLab Inc. All rights reserved. 個人的な自己紹介 z ほかに執筆活動もちょこちょこと z 『WEB+DB PRESS』誌
グリーCTOが語る、大規模ソーシャルゲーム開発の舞台裏
9月1日、ゲーム開発者向けカンファレンス「CEDEC 2010」において、SNS「GREE」を運営するグリー株式会社（以下 グリー）が『大規模ソーシャルゲームのつくりかた ～60分でわかるサーバサイド技術～』と題するセッションを講演した。 一日あたり億単位のトラフィックを捌くインフラはどうなっているのか。技術者2名が解説したインフラ構築のノウハウや、ソーシャルゲームと一般のオンラインゲームとの違いについて紹介する。 オンラインゲームとソーシャルゲームとの違い 最近テレビCMでも目にする機会が多くなってきたSNS（ソーシャルネットワーキングサービス）の「GREE（グリー）」。2010年6月時点の数字で、会員数2059万人、月間353億ページビューという言わずとしれた大人気サイトだ。中でも携帯電話向けソーシャルゲームが特徴的で、専用機向けのゲームと比べるとコアゲーマー以外のプレイヤーも多く、利
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
[ThinkIT] 第9回：オープンソースソフトウェアの「Heartbeat」によるHAクラスタ (1/4)
商用のクラスタソフトウェアがその市場を伸ばす中で、オープンソースソフトウェアによるクラスタソフトウェアも少しずつ改良が加えられ、その機能は進歩し続けています。 クラスタソフトウェアはミッションクリティカルな分野で使用されることが多いため、「ベンダーの保障がないと使用できない」と導入を躊躇する企業が多いと思われているかもしれません。しかし、その特徴と適用分野を見極めることで、有効な運用が可能になります。
「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」（以下、モバゲー）といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説、占いなどのコンテンツ、アバター（仮想キャラクター）を装ったSNSコミュニケーション、ディー・エヌ・エー（以下、DeNA）が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業本部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー（PV）は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業本部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000
HAProxy - The Reliable, High Perf. TCP/HTTP Load Balancer
Quick News Dec, 5th, 2023 : HAProxy 2.9.0 release This release has received a lot of small changes that are difficult to summarize. Most of them were aimed at improving performance and resource usage in general (zero-copy forwarding, QUIC's smaller footprint for closed connections, improved scalability), others focusing on better integration with other components (support for the AWS-LC crypto lib
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
Kazuho@Cybozu Labs: DNS ラウンドロビンと高可用性 (High Availability)
« brainf*ck でマジメに素数探索 | メイン | Brainf*ck で動的リスト » 2006年06月29日 DNS ラウンドロビンと高可用性 (High Availability) ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(ネットワーク編) について。 おもしろく読ませていただきました。また、監視系を導入せずに自律的に動作させようという発想も大好きです。 でも、 DNSは各回線の内側に設置しておきます。例えば上図のような場合、回線A側のDNSは回線AのIPアドレスを返すようにして、回線B側のDNSは回線BのIPアドレスを返すようにします。こうするとどちらかの回線が切れたときは切れたほうの回線のDNSにアクセスできなくなるので、自動的に生きている方の回線に接続されるようになります。 (ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(
月間3億PVのサーバーってどうなってるの？ pixiv管理者に聞いた | RBB TODAY
9月17日にpixivの月間ページビュー（PV）が3億を突破した。会員数は約32万人、投稿されたイラスト総数は160万枚。1年前の2007年9月10日にサイトがオープンして翌年4月には1億PVを突破している。その後7月に2億PV突破、そして1周年の記念イベントが開催されているタイミングで3億PV突破となった。 pixivは、イラストに特化したSNSサービスで、ユーザーが投稿したイラストを共有したり見せあい、評価、ランキング、ブックマークなどをつけることでコミュニケーションを図るサイトだ。扱うデータが画像ファイルとただでさえ大きくなりがちなのに、月間PVが3億にも達する「お化けサイト」のサーバーはどうなっているのだろうか。 YouTubeがGoogleに買収されるまで、あの膨大な量の動画はどこに保存されているのか、だれが維持しているのかについて「都市伝説」が生まれるくらいだったが、このpix
チープなDNSラウンドロビンは高価なロードバランサの座を奪い返せるか:Web屋のネタ帳 on CNET - CNET Japan
結論。DNSラウンドロビンという古くからある技術を取り巻く状況の変化を見過ごしている結果、負荷分散と可用性確保のために高価なロードバランサー機器を導入しているWebサイトは、実は大幅に金を無駄にしているのかもしれない。 一部の人には「今頃気がついたか」と笑われる可能性が高い話だ。 筆者が気づいたきっかけはとあるブログに書かれたこんな一節である。 あまり知られていないことかもしれませんが、DNS があるホスト名に対して複数の IP アドレスを返した場合、多くのウェブブラウザは、その全てのアドレスに対して接続を試みます (接続に成功するまで)。 Kazuho@Cybozu Labs: DNS ラウンドロビンと高可用性 (High Availability) 「えっ？そうだったの？だとすれば、、、」というのが筆者の素直な感想である。これだけでピンと来ている人はいいのだが、詳しくない人のために
(ひ)メモ - そんなわきゃない＞DNS RRはロードバランサの座を奪い返せるか
チープなDNSラウンドロビンは高価なロードバランサの座を奪い返せるか つっこみどころが満載スギなのは脇においておいて、金をかけないなら、DNSラウンドロビンじゃなくて、せめて、件の記事でも紹介されている Apache 2.2のmod_proxy_balancer か、Apache 2.2じゃなくても使えるreverse proxy系の実装たち、 POUND mod_backhand Perlbal を使うべきでしょう。 んで、「L7ロードバランサ（要はreverse proxy）なんていらねっす。セッション？ んなのmemcachedでシェアすりゃいいんじゃん。その方がスケールアウトしやすいしー」という向きには、LinuxでL4のロードバランサするのをオススメでします。まともなL4ロードバランサが手に入るのに、金銭的コストはゼロですってよ、オクサン！ Linux Virtual Serve
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネコの走りでCPU負荷を知らせる「RunCat」があの謎のオウム「Party Parrot」に対応／CPU負荷が高まるとノリノリで首を回すさまがシュール
【laughsketch】フェアリーレポート：第二十八回 負荷分散とレイヤ4スイッチについて