レンタルサーバのペナルティで強制的に「410 Gone」が返される事例に驚いた
2017年5月 3日(水) 13時49分23秒 [Web関連] レンタルサーバのペナルティで強制的に「410 Gone」が返される事例に驚いた とある企業サイトに関して、「数ヶ月前からGoogleの検索結果に一切ヒットしなくなった」という相談を受けました。 いろいろ調べてみたところ、ウェブサーバにアクセスした際に返されるHTTPレスポンスヘッダが以下のような条件で分岐されていることに気付きました。 PCやモバイル端末で使われる一般的なブラウザのユーザエージェント名でアクセスすると、HTTPステータスコードには「200 OK」が返されていて普通に閲覧できる。 それ以外のユーザエージェント名でアクセスすると、HTTPステータスコードには「410 Gone」が返されて、一切閲覧できない。 なかなか謎の現象でした。 上記のようになっているので、Google Botなどが使っているユーザエージェント
robots.txtや.htaccessで検索エンジンクローラーの巡回を拒否する方法 | TechMemo
WEBサイトを色々と作成していると、検索エンジンにインデックスさせたくないページも出てくるかと思います。そんな時には、メタタグにnoindexを追加するのもいいですが、robots.txtや.htaccessを使えば、そもそもクローラーの巡回を拒否することができます。 優先度としては、.htaccess > robots.txt > メタタグの順になっています。 .htaccessによる主要検索エンジンの拒否 .htaccessで検索エンジンのクローラーを拒否する場合、以下のように記述します。 SetEnvIf User-Agent "Googlebot" shutout SetEnvIf User-Agent "Slurp" shutout SetEnvIf User-Agent "msnbot" shutout order Allow,Deny Allow from all Deny
SSLのクライアント証明書の扱いについて誤解を正して貰えて有難かった話 - hkoba blog
SSLのクライアント証明書を使って接続相手の認証まで行いたいケースで、 クライアント証明書が self signed certificate だと危ないのでは？という疑問を呟いたら @satoh_fumiyasu さんに突っ込んでもらえて、私の誤解を正してもらえました。…誤解したままだったら…と考えると、肝が冷えます。さとうさん、有難うございました。 .oO(…SSLのクライアント証明書って、オレオレにしちゃったら、認証として全く意味が無くなると思うのだけど、違うのかしら？…)— hkoba (@hkoba) 2017年10月4日 違いますね。— ふみやす＠シェルまおう(自称でない)🚲 (@satoh_fumiyasu) 2017年10月5日 むむむ？どんな使い方だと、オレオレなクライアント証明書でも安全になるのでしょう？ サーバーへのログインユーザ名にクライアント証明書の CN を使う
弊社ホームページのサーバ移転作業 | 株式会社日本システム技研
初めまして、日本システム技研のおかじまと申します。 新卒2年目のぺーぺー(死語)です。 仕事内容に踏み込んだ記事を、ということで、 今回は先日私が行った弊社ホームページのサーバー移行作業について書いていこうかと思います。 突然毛色の違いすぎる技術ブログみたいな話になってしまいますが大丈夫でしょうか？ 不安ですが気にせずいきます。 作業内容・Amazon Web Services (以下AWS)のEC2サーバをAWSの新アカウントへ移行。 ・webサーバをApacheからNginxへ移行。 ・証明書をLet's Encryptを用いたものに更新、自動更新の設定。 サーバー移行ついでにwebサーバーと証明書周りもリニューアルしちゃいます。 早速具体的な作業内容について書いていきます。 1.EC2インスタンスのアカウント移行 EC2の現在のサーバインスタンスを新アカウントへ移行します。 既存のイ
奥一穂さんインタビュー - Tokyo RubyKaigi 11
13:25 Invited Speaker 最速ウェブサーバの作り方 近年、ウェブの体感速度は、ネットワークのバンド幅ではなくレイテンシによって律速される傾向が強まってきています。また、それに伴い、TCP Fast Open、HTTP/2、TLS 1.3といった、レイテンシの影響を削減／隠蔽する技術の標準化が進んでいます。本セッションでは、HTTP/2サーバ「H2O」の主開発者が、レイテンシの影響削減を主目的とするサーバのプログラミング技法や、HTTP/2の更なる高速化を実現する手法として標準化提案中の「Cache Digest」等を紹介し、それらをrubyから制御する手法を検討します。 必要となる知識 TCP/IPとUnixのソケットプログラミングに関する基礎的な知識があると、分かりやすいかと思います。 奥一穂 株式会社ディー・エヌ・エー MIT TR100、日本OSS貢献者賞受賞、未踏
日本Nginxユーザ会が発足。開発者Igor Sysoev氏が語る、Nginxが生まれ、商用化された理由
軽量で高速なオープンソースのWebサーバとして知られるNginx（エンジンエックス）のユーザー会「日本Nginxユーザ会」が18日発足し、都内で最初のユーザ会が行われました。 ユーザ会をバックアップしたのは、Nginxの商用版である「Nginx Plus」の国内販売パートナーとなったサイオステクノロジーと、コミュニティ活動の経験が豊富なハートビーツ。 来日中の、Nginx.incのCEO、Gus Robertson氏、CTOでNginxの開発者でもあるIgor Sysoev氏、ビジネス開発担当のAndrew Alexeev氏の3人がユーザー会に登壇し、日本でのコミュニティ活動に期待する発言が相次ぎました。 HTTPの世界は爆発的に成長している Nginx,Inc. CEO Gus Robertson氏。 Nginxは世界中で1億4000万ものサイトで使われています。もともとはIgorが一人
Web コンテンツのログを取る - どさにっき
2014年2月3日(月) ■ Web コンテンツのログを取る _ とある Web アプリのログを取りたい。通常のアクセスログではなく、POST で送ったデータと、その応答。具体的には XML や JSON のような構造を持ったデータの一部を記録しておきたい。どうやればいいんだべ。ちなみに、その Web アプリは他人様が動かしてるものなのでこちらではいじれない。クライアント側でログを取ることを想定。 _ こういうことやる場合は、apache なプロクシを経由させるようにして、その apache 上で mod_dumpioを使うというのがまず思いつくんだけど、これ使いものにならんよな。特定の URL へのアクセスだけ、さらにそのコンテンツに含まれる必要な情報だけをロギングするということができないので、ほんとうに欲しい情報が大量のゴミに埋もれてしまう。一時的なデバッグにはいいかもしれないけど、常
RHEL5/CentOS5でGlobalSignのルート証明書が有効期限切れで大騒ぎ
こんにちは。CTOの馬場です。 昨晩1/28 21:00JSTにRHEL5/CentOS5にインストールされているルート証明書のうち、GlobalSignの有効期限が切れました。 伴ってREHL5/CentOS5からのHTTPS(SSL)接続にてGlobalSignの証明書を使っているサイトへの接続がエラーになるようになりました。 私の確認している範囲では、 curlコマンドやPHPのcurlライブラリなどでの接続時に接続エラーとなることに起因して以下のような影響が出ています。 ※接続される側ではなくて、接続する側での問題です※ oauthなどの外部認証が不可 決済などの外部連携が不可 対策 RHEL5の場合、errataが公開されているのでupdateしましょう。 Red Hat Customer Portal https://rhn.redhat.com/errata/RHEA-201
Apache のリバースプロキシの設定方法 - WebOS Goodies
本日は Google Gears 関連のもうひとつのネタを書こうと思ったのですが、間に合わなかったので最近仕事で使った Apache のリバースプロキシ機能の設定方法などをご紹介します。リバースプロキシは、特定のディレクトリ以下へのリクエストを他の Web サーバーに中継する機能です。 LAN 内の複数のマシンで稼動している Web サイトをひとつのグローバル IP で公開したり、 Apache 以外の Web サーバー（Rails でよく使われる mongrel とか）を Apache の Web サイトに統合したりとかが簡単にできます。 Web サイトを柔軟に構築するために、覚えておくと便利ですよ。 前提条件 Apache のリバースプロキシ機能を利用するためには、 mod_proxy を組み込んだ Apache が必要です。通常の Linux ディストリビューションなどではデフォルト
[mod_rewriteメモ]サイトのメンテナンス時にどのURLにアクセスしてもメンテナンスのページを表示するには？
いくつか方法はあるかと思いますが、WebサーバがApacheの場合mod_rewriteはよく使うんじゃないかと思います。自力でいろいろ試して見ると結構ハマるのがこのメンテナンス時にメンテ中の表示を行う方法なんですが、下手な書き方だとループしちゃうんですよね。 ループっていうのはどういう事かというと、例えばhttp://www.example.comというサイト内すべてへアクセスをメンテナンスページにリダイレクトしたい場合下の様に書いてしまいがちですが、これだと、リダイレクトした後のURL自体が同じhttp://www.example.comなので、またRewriteRuleが適用されてリダイレクト、そしてまたRewriteRuleが適用されてリダイレクトと延々と繰り返してしまうことになります。これがループです。 RewriteEngine on RewriteRule ^(.*)$ ht
![[mod_rewriteメモ]サイトのメンテナンス時にどのURLにアクセスしてもメンテナンスのページを表示するには？](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
nginx連載1回目: nginxの紹介
皆様、初めまして。滝澤と申します。今月からここで記事を書いていきますのでよろしくお願いします。 ここ1,2年で注目を集めているWebサーバnginxについて今回から数回にわたってを紹介していきます。 nginxについて初めて知った、あるいは、名前は聞いたことがあるんだけど使ったことはない、といった方のために、1回目のこの記事ではnginxの概要を、2回目の記事ではインストールと設定について紹介します。 nginxとは nginxはロシアのIgor Sysoev氏によって開発されているWebサーバ兼リバースプロキシのソフトウェアです。「エンジン エックス」（engine x）と呼びます。 2002年に開発が始まり、2004年に公開され、今では約10%のシェアを持つまでに成長しています。facebookやWordPress.ORGなどの大規模サイトでの導入実績もあり、導入するWebサーバの選択
軽量高速Webサーバのnginxで静的コンテンツ配信とキャッシュコントロール
nginxとは？ nginxはロシアで開発されている軽量で高速なWebサーバです。 現在シェアは 7% 近くあるようです。もちろんApacheに比べれば少ないですが、Apache 55%、IIS 25%, nginx 7%で3番目に使われているWebサーバになります。 昔は、Pound+Lighttpd+Apacheの組み合わせをよく使っていましたが、ここ数年はnginx+Apacheとかになりました。 主に、静的コンテンツをnginxが受け持ち、PHPなどの動的コンテンツはApacheに渡す形になります。Railsを使う場合は、nginx+Unicornの組み合わせが多いです。 いまさらな感じもありますが、インフラ周りの見直しも含めて紹介したいと思います。 静的コンテンツをnginxに任せる nginx+Apacheの場合の設定は次のようになります。（nginxがport 80、Apac
VirtualHostの設定をMySQLで管理する·mod-myvhost MOONGIFT
mod-myvhostはApacheモジュールのオープンソース・ソフトウェア。Apacheの設定はhttpd.confで行う。テキストファイルベースなので分かりやすいが、ASPなどでサービスを提供しようと思った時に、設定がシステムから柔軟に変更できればと思うことがある。 設定はこんな感じ 例えばユーザごとにVirtualHostを分ける場合だ。サブディレクトリで命名規則を設けて行う方法もあるが、ユーザ数が増えればそれも苦しい管理になる。そこで使ってみたいのがmod-myvhostだ。 mod-myvhostはVirtualHostの設定をMySQL上で管理できるようにするApacheモジュールだ。専用のデータベースとユーザを作成して、SQLを実行してパスを動的に変更できる。ルートディレクトリを動的に指定したり、有効/無効の切り替えもテーブルのメンテナンスだけでできるようになる。 うまく切り
成功するネットサービスの十分条件の一つ : ひろゆき＠オープンSNS
【教えてくん】コミュニティーなのです。 なんかニュースとかあったらここに書こうかと思ってますよ。とりあえず、おいらのブログ 成功するネットサービスの十分条件の一つ mixi、gree、はてな、2ch、ニコニコ動画と、 わりと有名どころのサービスの中の人から話しを聞いてて、だいたい共通してるけど、 あんまり言及されていない事実。 スタート時もしくは現在にもわたって さくらインターネットの専用サーバを使っている。 スタートアップにコストをかけずに、 ある程度の規模のサービスをしようとすると、 さくらインターネットの専用サーバは安い。7800円。 ただ、root権限で自分でいろいろいじらなきゃいけないので、 素人には敬遠される。 んでも、root権限でいろいろ出来るぐらいの人じゃなければ、 サービスの改善が出来なかったり。 また、安価なコースの専用サーバのハードウェアのスペックは あんまりよくな
MOONGIFT: » チェック必須！Rails新時代の到来か？「Passenger（mod_rails for Apache）」:オープンソースを毎日紹介
待ちに待ったソフトウェアがついに登場した。Railsは生産性の高さについては定評があるが、その設置、運用方法についてはJava並みに敷居が高かった。レンタルサーバなどでは利用に耐える設置が難しかった。 Passengerのトップページ だが、これで時代は変わるかもしれない。そんなソフトウェアがついにリリースされた。 今回紹介するオープンソース・ソフトウェアはPassanger、mod_rails for Apacheだ。 Passangerはgemからインストールするソフトウェアで、これをインストールし、必要な諸設定を行ったら後はMongrelのようなアプリケーションサーバを立ち上げることもなくRailsが利用できるようになる。 インストール中 Apache2.2系（恐らく…）ではdeny from allの設定を消す必要があるが、それさえ消せば問題なくRailsが動作する。プロキシも何も
CGI 出力キャッシュ - なんとなく◎
CGI 等で生成される動的コンテンツには，個別のリクエストごとに異なるレスポンスを 返さなければならないものもあれば，ある程度の時間内であればどのリクエストに 対しても同じレスポンスを返すものもあるでしょう．後者であれば，レスポンスを mod_mem_cache でキャッシュすることにより毎回 CGI 等を実行せずに済むので， かなり効果的にサーバの負荷軽減を実現することができます． # mod_mem_cache は Apache 2.0 ではまだ "experimental" という扱いですが， Apache 2.1 / 2.2 ではかなり改良されています． httpd.conf での設定は，例えば以下のような感じで．動的コンテンツでは Content-Length ヘッダを出力しないことが多いですから，MCacheMaxObjectSize の指定に際しては併せて MCacheMax
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
http://blog.flatlabs.net/20100301_204946/
wiki.nginx.org Managed WordPress Site – Just another WordPress site