The Web Robots Pages
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots. About /robots.txt explains what /robots.txt is, and how to use it. The FAQ answers many frequ
Google Cloud SQLがリードレプリカに対応、プレビュー公開
Googleのクラウド上でMySQLデータベースが利用できる、いわゆるDBaaS（Database as a Service）の「Google Cloud SQL」に、リードレプリカの機能が追加されました。 マスターデータベースとなるGoogle Cloud SQLに対してリードレプリカを利用することで、問い合わせに対する負荷分散を実現しスケールアウト的にデータベース性能を向上させることが容易になります。また、リードレプリカのデータベースに対してOLAPのような複雑な問い合わせを実行すれば、マスターデータベースに余計な負荷を掛けずに処理できます。 またリードレプリカはマスターのホットスタンバイとして動作するため、障害発生時のための可用性向上にも使えると説明されています。 Google Cloud SQLのリードレプリカ機能は現在プレビューとして提供されており、MySQL 5.5で展開中。近
GoogleのHTTPロードバランサーの破壊力があり過ぎる #gcpja - Qiita
そもそもGoogle Compute Engineのロードバランサー、GCE LBは、1インスタンス・1グローバルIP・ウォームアップなしでいきなり100万リクエスト／秒を捌けてしまう謎性能を備えていて、既存の他社クラウドのLBだけこれで置き換えたい！ という声もちらほら聞かれるほどの強力LBサービスであった。 From Compute Engine Load Balancing hits 1 million requests per second! そして今回、正式公開ではないLimited Preview版ではあるものの、GCE LBの新機能としてHTTP Load Balancingが発表された。その性能と機能の破壊力があり過ぎるので、GCPブログ記事のリンクをシェアするだけではあまりにもったいない！ と思い、要点を訳してみた。 DNSに頼らない、1グローバルIPによるUS、EU、A
インターノット崩壊論者の独り言 - ATND消失 - RECRUIT がやらかして ATND が見えなくなったようなのでメモ
EPIC2014 Google Public DNS (8.8.8.8, 8.8.4.4) および Cloudflare (1.1.1.1, 1.0.0.1) 経由では本サイトにアクセスできないよう措置させて頂いております。 権威サーバを新しく ns[1-3].x.recruit.co.jp に切り換えたようですが応答しません。そもそもゾーンが設定されていないのではないでしょうか。 なお、今も (注:復旧前) 見えていて、利用している DNS キャッシュサーバが BIND だったりすると幽霊ドメイン名脆弱性を抱えている可能性があります。OCN や 8.8.8.8 で見えているのは別な理由だと思います。(委譲元の TTL で古い NS をキャッシュしているのでしょう) (10:27 追記: ゾーンが設定され、引けるようになったようですが、旧サーバのゾーンデータは古いままなので、幽霊は漂い続け
インターノット崩壊論者の独り言 - 開いたパンドラの箱 - 長年放置されてきた DNS の恐るべき欠陥が明らかに
EPIC2014 Google Public DNS (8.8.8.8, 8.8.4.4) および Cloudflare (1.1.1.1, 1.0.0.1) 経由では本サイトにアクセスできないよう措置させて頂いております。 本日、JPRS がようやく重い腰をあげて注意喚起を発してくれましたが、その内容は危険性をよく理解して対策をとるにあたって十分な情報が含まれているとはいえません。 一方で注意深い攻撃者が探せば、ネット上にはすでに深刻な攻撃を行うのに必要な情報は十分に流れています。特に、JPRS が3月に慌てて co.jp などにこっそり入れた署名付き TXT レコードは大きなヒントに見えます。 DNS に詳しい攻撃者であれば、攻撃手法に辿りつくのは時間の問題でしょう。(すでに攻撃は行われているかも知れません) 長く秘密にしておくことは得策ではないと判断し、防御する側の心構えと手助けにし
SPDYとLinuxの間でGoogleマップがハマった落とし穴 - ぼちぼち日記
tl;dr 書いていたら思わず長文の大作になってしまいましたので、プロトコルオタ以外の方は文章の多さに退屈されるかと思います。GoogleマップサービスでSPDYの問題が発覚し、GoogleがLinuxカーネルに修正を加えて対応したというお話です。将来 Linux + nginx + SPDY を使いリバースプロキシでサービス運用を検討されている方は参考になるかもしれません。 1. はじめに、 プロトコルに執着する年寄りエンジニアの老害が叫ばれて久しい。 年甲斐もなく自分好みのパケットを追っかけるおやじエンジニアの姿を見て眉をひそめる若者も多いと聞く。 そんな批判に目もくれず、今日も一つ、プロトコルオタのネタをブログで公開したいと思いますw 今回はちょうど１年ほど前に書いたブログ記事 「GmailがハマったSPDYの落とし穴」の続編です。といっても今度の舞台は、Googleマップ。ネタ元も
無線LANのWPA/WPA2-PSKをGPUで超高速解析してパスワードを見つけるフリーのオープンソースソフト「Pyrit」
ATI Stream テクノロジー/Nvidia CUDA/OpenCLを駆使し、WPA/WPA2-PSKを突破するために必要となる巨大なデータベースを事前に作成することによって極めて高速にパスワードを解析できるのがフリーのオープンソースソフト「Pyrit」です。厳密なライセンスはGNU GPL v3となっています。 pyrit - WPA/WPA2-PSK and a world of affordable many-core platforms - Google Project Hosting http://code.google.com/p/pyrit/ 事前に巨大なデータベースを作成しておくため、ハードディスクの容量は割と必要となりますが、それとトレードオフで解析速度を高速化しようというアプローチになっており、FreeBSD・MacOS X・Linux上で動作し、MinGWを使うこ
My IP address and location? Show my ip address and locate the ip!
Click here for detailed My IP informationTrace an Email AddressLookupLookup any IPv4 Address, IPv6 Address, Website, Domain or SubdomainLookupIP Address LookupTrace an IP address and get lots of information on a website, domain or subdomains. Whois LookupGet the necessary domain registration details from a registrar without any hassle. IP Address To CountryGet accurate results on the country of or
Google、IBM、NVIDIAなどがデータセンター向けのサーバ、ストレージ、ネットワークの開発協力へ、POWERをベースに
Google、IBM、NVIDIAなどがデータセンター向けのサーバ、ストレージ、ネットワークの開発協力へ、POWERをベースに 大規模スケールのデータセンターやクラウドのための選択肢や柔軟性を実現するため、先進的なサーバ、ネットワーク、ストレージ、GPU活用技術などを開発することを目的として、Google、IBM、NVIDIAをはじめ、Mellanox、Tyanらが協力しする「OpenPOWER Consortium」の設立を発表しました。 IBM News room - 2013-08-06 Google, IBM, Mellanox, NVIDIA, Tyan Announce Development Group for Data Centers - United States IBMはPOWERプロセッサの知的財産をライセンスし、エコシステムの拡大を期待。まずはNVIDIAとともにP
なぜ QUIC や SPDY が生まれたのか ? - Block Rockin’ Codes
Intro Google が SPDY の開発を始めたのは 2009 年で、 2012 年に HTTP2.0 のドラフトとして採用されたあたりからちょっと話題になりました。 翌 2 月には新たなプロトコル QUIC の存在が Chromium のソースからリークしたのですが、しばらくは音沙汰なく。 6 月に入ってやっと Google から公式アナウンスとドキュメント類が出ました。 去年から今年にかけて立て続けに出てくる新しいプロトコルの話。 なぜ今 Web のプロトコルが見直されるのか？ 何が問題で、なぜ Google はそれらを作り変えるのか？ SPDY や QUIC は Google の独自プロトコルだけど、それは本当にただの独自プロトコルで終わらせていいのか？ 20% ルールで作ってみた Play プロジェクトでしかないのか？ こうした新しい動きには、かならず「それまで」と「今」を踏
グーグルが高速プロトコル「SPDY」をChromeブラウザで有効化。Gmailなどで利用を開始していた
グーグルが高速プロトコル「SPDY」をChromeブラウザで有効化。Gmailなどで利用を開始していた グーグルがより速いWebを実現するために、HTTPを高速化した新プロトコル「SPDY」を開発中であることは、昨年夏に公開した記事「グーグルがWebを高速化するために何をしているか」で紹介しました。 SPDYの話題はその後ほとんど見かけなくなりましたが、グーグルはそのSPDYをChromeに実装し、同社のサービスで利用していることがニュースサイトConceivably Techの記事「Google Chrome Gets SPDY – And An Onscreen Keyboard」で指摘されています。 なぜグーグルはひっそりとSPDYを有効化したのだろう？ SPDYとは従来のWebのプロトコルであるHTTPを改良し、毎回同じ情報がやりとりされるヘッダの情報を圧縮したり、リクエストの回数
Google、HTTPを補う高速化プロトコル「SPDY」発表
GoogleがWebページ表示をスピードアップするプロトコル「SPDY」を発表した。テストではページ読み込み速度が最高で64％短縮できたとしている。 米Googleは11月12日、Web高速化を実現するためのアプリケーションレイヤープロトコル「SPDY」（スピーディーと発音する）を発表した。Googleが目指しているWeb高速化の一環で、HTTPをサポートし、Webページ表示の遅延時間を最小限に抑えるという。 SPDYに関するホワイトペーパーによると、同社はSPDYとともに、同プロトコル対応版のGoogle ChromeブラウザとオープンソースのWebサーバも開発した。これらのアプリケーションをHTTPとSPDYで稼働テストしたところ、ページ読み込み時間が最高で64％短縮できたという。 SPDYはセッションレイヤーをSSLの上に追加するので、単一のTCP接続で複数の相互データストリームを並
Google、無料DNSサービス「Google Public DNS」発表
米Googleは12月3日、Web高速化の取り組みの一環として、無料のパブリックDNSサービス「Google Public DNS」を立ち上げたと発表した。 DNSはサイトのURLをIPアドレスに変換する（名前解決と呼ばれている）ことで目的のサイトに接続する仕組みで、その変換は企業やISPなどのDNSサーバが担っている。ユーザーがWebサイトを訪問するたびに名前解決が行われているが、複雑なページを読み込むには複数の名前解決が必要なこともあり、その結果Web閲覧のスピードが遅くなる。Googleは高速で安全なDNSサービスを提供することでユーザーのWeb高速化を助けたいという。 GoogleはDNSのレスポンスが遅くなる主な原因の1つをDNSのキャッシュが失われることにあると考えており、大量のドメインのキャッシュをTTL（キャッシュ生存期限）が切れる前にリフレッシュしてサーバに保有し続ける。
お前このサブネットでも同じ事言えんの？ - 知らないけどきっとそう。
,、,, ,、,, ,, ,, _,,;' '" '' ゛''" ゛' ';;,, （rヽ,;''"""''゛゛゛'';, ﾉｒ） ,;'゛ i ＿ 、＿ iヽ゛';, ,;'" ''| ヽ・〉 〈・ノ |ﾞ゛ `';, ,;'' "| ▼ |ﾞ゛ `';, ,;'' ヽ＿人＿ / ,;'_ ／ｼ、 ヽ⌒⌒ / ﾘ ＼ | "ｒ,, ｀"'''ﾞ´ ,,ﾐ゛ | | ﾘ、 ,ﾘ | | i ゛ｒ、ﾉ,,ｒ" i _| | ｀ー――----┴ ⌒´ ） （ヽ ＿＿＿＿＿＿ ,, ＿´） （_⌒ ＿＿＿＿＿＿ ,, ィ 丁 | | | 前回のエントリ で軽く触れましたが、ARPスプーフィングを用いると、サブネット内からデフォルトゲートウェイを通って外に出て行くはずのパケットを、自分のホ
Webはインターネットになった - naoyaのはてなダイアリー
先週金曜日にエンジニアサポートCROSS2013に行ってきた。目当ては @Jxck_ さんホストによる次世代Webセッション。セッション自体は前後半に分かれていて 前半はプロトコル編。SPDY (wikipedia) や HTTP/2.0 の動向やその課題点など 後半はアーキテクチャ編。プロトコルが変わった上で、その上で動くソフトウェアのアーキテクチャが云々 という内容でした。前半がより技術寄り、後半はテーマ的にもより広範の話題を扱うという感じでどちらも面白かった。 CROSS 2013レポート(2) - mad-pの日記 こちらに細かいログがあります。 話の前提になる SPDY や HTTP/2.0 周りの昨今については 【HTTP 2.0の最新動向】 第1回：HTTP/2.0の策定、ついに始まる - INTERNET Watch Watch 【HTTP 2.0の最新動向】 第2回：HT
つい無防備になってない？ 公衆無線LANを安全に使うための4つのコツ | ライフハッカー・ジャパン
パソコンも、もはや「ケイタイ」する時代。日本でもWi-Fiスポットが徐々に増え、外出先でも手軽にインターネット接続できる環境が整ってきましたが、さらに先を行く米国では、7月1日から、スターバックス（Starbucks）が米国内の全店舗で、Wi-Fiを無料で利用できるようになったとか。どこでもインターネットにアクセスできるのは、便利なことこの上ないですが、セキュリティリスクにも十分配慮する必要がありますね。そこで、こちらでは、公衆無線LANを安全に使うための方法についてご紹介しましょう。 ほどんどのワイヤレスルーターには、インターネットからユーザを守るファイアウォールがありますが、これによって、自分が完全に保護されていると考えるのは誤り。同じネットワークに接続している他のユーザからは保護されていません。多くのホットスポットでは、ネットワークに接続しやすいように暗号化されておらず、これによって
維持料を負担すること自体は拒否していません。問題は維持料を払うことがその負担者を交えて民主的に決定されていないことなのです - インターノット崩壊論者の独り言(2012-11-26)
EPIC2014 Google Public DNS (8.8.8.8, 8.8.4.4) 経由では本サイトにアクセスできないよう措置させて頂いております。 このたび社団法人日本ネットワークインフォメーションセンター (JPNIC) を相手取って裁判をはじめることとなりました。皆様のご支援をよろしくお願いいたします。 JPNIC は平成23年8月31日に規約を一方的に変更し、私(や多くの歴史的PIアドレスやAS番号の利用者たち)がそれに同意していないにも関わらず平成24年度から(JPNICができる前から使われていたものも含む)歴史的PIアドレスやAS番号に対して維持料を課すことを決め、平成9年に東海地域のネットワークの相互接続のために割り当てを受けた AS7520 にもこの4月から維持料を請求してきました。これを無視していたところ年14.5%の延滞利息まで請求をはじめ、督促の電話も入るよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hello .みんな