Webサーバーアーキテクチャ進化論2023
はじめに 最近プログラマーとしてのキャリアに一区切りつけようと思っており、これまでのプログラミングの勉強の集大成となるブログを書きたくなったので書く。初めてプログラミングをして、フロントエンド開発をして、サーバーから値が返ってきたときは「どういう仕組みで値が返ってきたんだ？」と疑問に思っていた。ずっと理解したくて理解できていなかった。だからずっと勉強していた。そして最近になってようやく自分の言葉で説明できるようになった気がしたのでブログを書きたい。 2015 年版が自分の原点であり、この記事を書くモチベーションになった このような記事は実は過去に存在している。 FYI: https://blog.yuuk.io/entry/2015-webserver-architecture その記事はサーバーがどういう仕組みで動いていて、どのように進化し、2015 年に至るかを解説してくれた記事だ。自
AWS、全世界から利用できるNTPサーバーを公開
米Amazon Web Servicesは、全世界から利用できるNTP（Network Time Protocol）サーバーを11月10日（現地時間）に公開した。同社は「Amazon Time Sync」という名称でEC2（Elastic Compute Cloud）インスタンスに時刻情報を送信するサービスを提供しているが、今回は時刻情報を送信する対象を全世界のコンピューターに拡大した。 AWSが提供を開始したNTPサーバーを利用するには、コンピューターの時刻設定で「time.aws.com」というNTPサーバーを参照するように設定すればよい。料金は発生しない。AWSはIoT端末や、オンプレミスのサーバーなど、AWSサービスと連携している端末で使用することで、AWSサービスと共通の時刻で運用できる利点があるとしている。 Amazon Time Syncは、衛星につながった原子時計を使用した
知っておきたかったLinuxサーバ設計、構築、運用知識まとめ - hiroportation
サーバ業務周りの管理、運用について役に立ちそうなナレッジをまとめました。 長期的に書いているため用語に統一性がなかったり、不足分など随時修正したいと思います。 1. サーバ設計 サーバスペックはどうするべき？ 使用するOSは？ CentOS開発終了について MWは何を使うべきか Webサーバ構築にはどちらを使うべき？Apache？Nginx？ サーバセキュリティで最低限押さえておきたいことは？ listenするポートは最小限にしましょう ファイアウォール設定で送受信IPアドレス、ポートの通信制御はしておきましょう 外部に出る際にはプロキシサーバを経由するようにする 随時パッチを当てるようにする linuxでのアンチウイルスソフトの検討 個人アカウントで変更系コマンドは実行させないようにする ログについて考えること ストレージ容量には気をつける データベースはどう決めたら良いか MySQLか
パブリッククラウドやDocker Hubに最適化した「Minimal Ubuntu」がリリース
Minimal Ubuntu, on public clouds and Docker Hub(Canonical公式ブログより) Canonicalは2018年7月9日(米国時間)、パブリッククラウドおよびDocker Hubに最適したLinuxディストリビューション「Minimal Ubuntu」をリリースしたことを明らかにした。AWS(Amazon Web Services)およびGCP(Google Cloud Platform)を推奨パブリッククラウドとし、イメージファイルはWeb上からダウンロードできる。 Minimal Ubuntuはクラウド上の仮想マシン用OSとして設計し、標準のUbuntuと比較すると、イメージサイズは50%未満、起動は40%高速化した。Amazon EC2やGCE(Google Compute Engine)、コンテナはLXDやKVM、OpenStack
vmstatの見方と考え方: ぴろにっき
なにもここで説明しなくてもvmstatの説明なんてそこらじゅうにある訳ですが、同じコマンドでもカーネルのバージョンとかディストリビューションとかで結構違ってくるので、ここではCentOS5.2でのvmstatについて記載しておくことに。 vmstatを実行すると… [root@chihiro ~]# vmstat 5 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 136 10836 3744 1940256 0 0 174 2050 128 96 1 6 74 19 0 0 0 136 10456 3720 1940424 0 0 0 6731 606
システムの負荷の原因を切り分ける方法 - Qiita
サーバのボトルネックを探る サーバが重い時、主に以下の4つがボトルネックとなる。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 この記事では、これらのうちどれがボトルネックとなっているかを突き止める方法について書く。 ロードアベレージを見る まずはロードアベレージを見ることで、おおまかに問題を切り分ける。 ロードアベレージの確認方法はload averageを見てシステムの負荷を確認するに書いた。 ロードアベレージが高い場合 現在のホストの「1. CPU使用率」, 「2. メモリ使用率」, 「3. ディスクI/O」を疑う。 ロードアベレージが1以下であれば軽く、1〜3くらいだとやや重く、それ以上だとこれらがボトルネックの可能性が高い。 ロードアベレージが低い場合 「4. TCPコネクション数」か、リモートホストがボトルネックになっていないか疑う。 特定のホストの問題を解
不審なプロセスがないのにメモリ使用量が高い場合はslab領域の肥大化を疑うといいかも
メモリのfreeが10%を切ったとアラートが飛んできた時の対応のメモです。 top を見てもあやしいプロセスが見つからなくて、 /proc/meminfo を見てみると slab領域の肥大が確認できました。 slabtop で dentry_cache が肥大化している事がわかったので、 echo 2 > /proc/sys/vm/drop_caches を実行しました。 というはなし。 freeコマンドで現在のメモリの使用量を確認する [root@bacchi ~]# free total used free shared buffers cached Mem: 1030516 971468 59048 1088 278348 166456 -/+ buffers/cache: 526664 503852 Swap: 2064380 654596 1409784 確かにこのサーバーはメモ
プロセスのメモリ使用量が少ないのにメモリ使用量が増加していた時に調査、対応したこと | DevelopersIO
はじめに メモリ使用率が上昇傾向のインスタンスについて調査をしましたので調査内容と対応内容についてご紹介します。 初動調査 freeコマンドで確認 $ free -m total used free shared buffers cached Mem: 7986 7657 329 33 99 312 -/+ buffers/cache: 7246 740 Swap: 0 0 0 メモリ使用量は7246MB topコマンドで確認 topの後にshift + m top - 12:40:32 up 36 days, 12:26, 1 user, load average: 0.00, 0.01, 0.05 Tasks: 96 total, 1 running, 95 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100
Linuxで、どのプロセスがページングを行っているのか調べるには？ | Yakst
スワップがなぜ起きるか、どのようにスワップの状態を確認するべきかの平易な解説。Quoraの質問に対する、Robert Love氏の回答。 質問に対するストレートな回答は、調べるのは不可能、だ。どうしてそうなのかを説明してから、君の知りたい情報を含んでいるであろう、5つの関連する質問に答えよう。 Linuxのような、モダンなOSにおいては、スワップはシステム全体における現象だ。ある1つのプロセスがスワップに関する責任を持っているわけではない。システムがスワップしているかどうかは、メモリプレッシャの機能による。物理メモリを大量に使おうとすれば、スワップしてしまう。何をスワップアウトするかは、一番少ないページを要求しているのが何かによる。何をスワップインするかは、一番ページを必要としているのが何かによる。プロセスがRAM上に存在しないページを要求した時、そのページはディスク上にあるので、スワップ
ブラウザからアクセスできる踏み台サーバを構築 | システム運用日記
ブラウザからアクセスできるリモートデスクトップクライアントApache Guacamole Apache Guacamoleは、VNC,SSH,RDP,telnetプロトコルを利用してブラウザ上から端末を操作することができるソフトです。 今回は、CentOS7にインストールしてみました。 環境準備 Apache Guacamoleを利用するためには、色々なパッケージが必要となるためyum等を利用してパッケージをインストールしていきます。 #yum -y install libguac-client-rdp libguac-client-vnc libguac-client-ssh #yum -y install cairo-devel libjpeg-turbo-devel libjpeg-devel libpng-devel uuid-devel #yum install freerdp
OWASP ZAP | OWASP Foundation
The OWASP® Foundation works to improve the security of software through its community-led open source software projects, hundreds of chapters worldwide, tens of thousands of members, and by hosting local and global conferences. Project Information Flagship Project Classification Tool Audience Breaker Builder Downloads Download OWASP ZAP! Questionnaire Please help us to make ZAP even better for you
LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
Text to ASCII Art Generator (TAAG)
Main Controls - *FIGlet and AOL Macro Fonts Supported* Font: Character Width: Character Height: Test All More Opts About Type Something Other Stuff From patorjk.com That You Might Like: Typing Speed Test Keyboard Layout Analzyer Text Color Fader Snake Game My Photography Site Main Page Share Link Select & Copy Generate Image Font Info patorjk.com
コンソールアプリケーションで進行状況等を出力する……キャリッジ・リターンの話 - 座敷牢日誌
色々あるコンソールアプリケーションがよくとるやり方で、現在の行の出力内容をどんどん更新していく……といった出力方法がある。例えば、wgetを実行するとダウンロード状況のパーセンテージやインジケータや残り時間が、刻々と更新表示されていく。恥ずかしながら、こういう出力の実装方法をずっと知らずにいた。標準入出力に関する深い知識と正しい理解がいるんだろうと漠然と思っていたが、いざ調べてみるとそうでもなかった。 youtube-dlのソースを暇つぶしに眺めていてわかってしまった。 出力行の先頭にエスケープシーケンス「\r」をつければ良い 出力行の出力にエスケープシーケンス「\r」をつけてやる。たったこれだけのことだった。例えば次のようなスクリプトを書いてbashで実行してみる。 #!/bin/bash for i in `seq 5` do printf "\r%s" `date "+%H:%M:%
CentOS6 の cron.daily 実行時刻を CentOS5 以前と同様に設定する
CentOS6 の cron.daily 実行時刻は、CentOS5 以前とは異なります。 ※この記事に書いた手順は、RHEL8 / RHEL7 / RHEL6でも通用します。末尾参照 CentOS5 以前であれば、デフォルトでは午前4:02にスケジュールされていましたが、CentOS6 のデフォルトでは、ある幅の範囲内でランダム化されています。 まずは、このランダム化の内容を確認してみます。 最初に /etc/crontab を見てみますと、次のように空っぽです。 SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 -
AWS(EC2)で無料ウィルス対策 : アジャイル株式会社
技術情報 ※ここでの記事は、筆者が独自に調査、検証したものであり、内容を保証するものではありません。 記事の内容を業務等で利用する場合は自己責任でお願いします。 Amazon Linux でアンチウィルスソフトを利用するための手順に関して説明します。 以前から Clam AntiVirus を利用していたのですが、先日から Amazon リポジトリにも追加されたようなので、これを利用します。 はじめに ゴールデンウィークはいかがお過ごしだったでしょうか。 私は娘と実家がある福島に帰省していたのですが、鼻の調子がちょっと変です。鼻血は出ませんでしたが鼻水に血が混じってたかも ( 北上して、東京ではほぼ終わった花粉にまたやられた可能性あり )。 実家の駐車場には昨年除染された土が積み上げられたままでした。 話変わって、近々では会社のNASに不具合が発生(継続中)するなどして、技術情報の更新が滞
無料で使えるLinuxのアンチウイルスソフト「Clam AntiVirus」の導入と設定の解説
※clamscanは上記のオプションなしでもzip/gzip/bzip2/rar(2.0)に対応している。ちなみに設定ファイルであらかじめ設定しておくことも可能。 clamdscanでウイルス検出のテスト clamscanコマンドでテストをしてみて「結構時間がかかるな」と思った方も多いのではないでしょうか。 Clam AntiVirusには、より高速に動作する「clamdscan」というコマンドが用意されています。 簡単に違いを説明すればclamscanは実行するごとにウイルス定義ファイルを読み込むのに対し、clamdscanはClam AntiVirusを起動した時に立ち上がる「clamd」というデーモンを利用して実行されるという点です。（そのためroot権限でClam AntiVirusを起動しておかないとclamdで検査できないファイルがでるので注意） また、1度検査して変更の無いフ
clamav: clamscanとclamdscanの違いってなんなんだよ - 春木屋
clamavはフリーのアンチウイルスソフトウェア 最近はOS Xとかでも有名ですな。 公式サイト http://www.clamav.net/lang/en/ インストールはportsから。 概要 一部モジュールのみ以下にまとめます。 clamscan clamdscan clamd freshclam ・clamscan 単品で動くウイルススキャナ。 一回だけのスキャンに使用する。 遅い。 ・clamd ウイルススキャナデーモン 後述のclamdscanとセットで使う。 あるいはメールのスキャンなどに。 ・clamdscan clamdとセットで動くウイルススキャナ。 指定されたファイルのパスをclamdに教えると、clamdがスキャンしてくれる。 clamdは定義ファイルをメモリ展開しているのでclamscan（clam*d*scanじゃなく）よりもスキャンが断然速い。 ・freshc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ERROR: Could not lookup : Servname not supported for ai_socktype の解決方法
