タグ

Internetとcacheに関するtsupoのブックマーク (11)

  • MSとアマゾンのクラウドサービスの違いはキャッシング

    文:Mary Jo Foley(Special to ZDNet.com) 翻訳校正:菊地千枝子 2008-11-27 08:25 進化するクラウドサービス領域を主導する2社であるAmazonMicrosoftは、顧客にいくつかの――少なくとも表面的には――似たようなウェアを提供している。しかしキャッシングの分野となると、2社の方向性が分かれるようだ。 Amazonは、Microsoftが最終的にクラウド戦略とサービスを披露する予定であることを知りながら、今秋に入りMicrosoftに対する先制攻撃をしかけた。その結果:両社ともSQL Serverベースのホステッドデータベースサービス(AmazonSimpleDBMicrosoftSQL Services);基礎的なストレージサービス(AmazonのS3とMicrosoftのAzure Storageレイヤー);「クラウドオペレー

    MSとアマゾンのクラウドサービスの違いはキャッシング
    tsupo
    tsupo 2008/11/27
    Amazon: 本質的にはセルフサービスのコンテンツデリバリネットワーク / Microsoft: アプリケーション開発者が拡張可能なデータキャッシングソリューションを自分たちのサーバ内で提供するためのツール
  • かんたん友人検索 その弐 - mixi engineer blog

    朝のジョギング生活を絶賛継続中ですが、あまり体重が減らなくてショボンヌなmikioです。さて今回は、Tokyo Dystopiaを使った検索機能「かんたん友人検索」の設計と実装についてお話しします。 全体の戦略 Tokyo Dystopia(TD)は単なる全文検索用のインデックス管理ツールです。多数の文字列の中から特定のパターンを含んだ文字列を特定する処理を高速化することはできますが、逆に言えばそれしかできないのです。住所を市区町村単位で限定して結果を絞り込むとか、ログイン時間が近い順に並び替えるとかの高機能は備えていません。Hyper Estraierにはそういったアプリケーション寄りの機能を持たせていましたが、逆にコードベースが肥大化して保守や最適化がしにくくなってしまいました。その反省を踏まえて、今回は、「全文検索による対象の絞り込み」だけはTDにやらせて、その他の機能は全て専用に書

    かんたん友人検索 その弐 - mixi engineer blog
    tsupo
    tsupo 2008/09/18
    「1500万ユーザの分のデータを保持するとなるとデータベースが巨大になりすぎて、ファイルアクセスによるレイテンシが致命的になりかねないので、それよりもCPUに頑張らせた方が得だと考え直しました」
  • [Twitter検索] public_timeline APIの仕様が変わっている件

    8/7の10:00頃からTwitterのpublic_timeline APIの仕様が変わったようです。 この影響を受けてTwitter検索にてアイコン表示・ユーザIDが表示できない状況です。 出力項目を削減? 実はこれまでも突然APIの出力が変わり、データが取得できない事が何度かありました。そういった場合、APIの仕様変更の場合もあるのですが、そのほとんどはメンテナンス等(?)で出力されるデータが壊れていたり、APIが正常に動作していないことがほとんどでした。 そういったケースでは数時間様子を見ていると回復していたので、今回も静観していたのですが、1 日様子を見たところでも変化はなく、仕様変更と見るのが良いかもしれません。 現在データとして取れなくなったのは、↓です。 screen_name – ユーザID?コード? (twitter.com/shin1x1 の shin1x1 の部分で

    tsupo
    tsupo 2008/08/11
    キャッシュが適用され、全てのPostを取得するのが難しい状況 / 1分あたり40件程度のPost(N分15秒〜N分30秒に投稿されたもの)しか収集できていない / 変更前と変更後を比べるとPost量が1/3程度に
  • 3分LifeHacking:消えてしまったWebページを閲覧する - ITmedia Biz.ID

    インターネット上の情報は永遠ではない。さっき見たページがなくなっている……というときに困らないように、何とかなるかもしれない方法。 ブックマークしておいたサイトに行ったら、消えていた。昨日は表示されていたのに──。 インターネットに載っている情報は、必ずしもずっと残っているわけではない。いったんは公開したものでも、個人の都合で消去されることもあれば、サービスの終了に伴いサイト自体がなくなってしまうこともある。そうはいっても、重要な情報は確認したい。 そんな“消えてしまったWebページ”を閲覧するための方法を3つ紹介しよう。 Googleのキャッシュに残っていないか? Googleの検索エンジンは、「該当ページのサーバがダウンした場合でも、ページの内容が見られるように」、多数のWebページの中身を保存している。Google検索の結果一覧画面に「キャッシュ」というリンクがあり、これを押すとGo

    3分LifeHacking:消えてしまったWebページを閲覧する - ITmedia Biz.ID
    tsupo
    tsupo 2007/07/27
    キャッシュを保存してくれるソーシャルブックマークも増えてきたし(Diigo, Yahoo! Bookmarks, など) // 1998年のGoogle → こんなんだったんだ!!
  • 試しに - かいはつにっし

    キャッシュシステムをオフにしてみました。 結果 プロキシエラー発生数 一時間あたり50-100 → 一桁に減少 ああ…… でも夜中まで持たないので戻すことになるでしょう。

    試しに - かいはつにっし
    tsupo
    tsupo 2006/06/24
    キャッシュシステムをオフにしてみました / プロキシエラー発生数 一時間あたり50-100 → 一桁に減少 → 減少するけど、0 にはならないんですね。キャッシュシステムの影響はあるけど、それ以外が原因のもある
  • プロキシエラーについて - かいはつにっし

    何故プロキシエラーが出るのか 500 Internal Server Error じゃなくて proxy error なのかは、ソフトウェアの構成によるものです。ウェブアプリケーションでは一般的なのですが、静的なコンテンツ(画像や CSSJavascript など) を配信するサーバとアプリケーションを実行するサーバを分離した構成になっています。アプリケーションを実行するサーバはプロキシ越しになっているわけです。そのため、アプリケーションに起因するエラーで、アプリケーションが捉えることができないものはプロキシエラーになって表示されます(アプリケーションが捉えたエラーは「問題が生じました」の画面として表示しています)。 プロキシエラーの原因 同じプロキシエラーでも内側から見ると種類がいくつかあります。 負荷によってタイムアウトした、ユーザが途中で接続を切った、アプリケーションサーバが途中で

    プロキシエラーについて - かいはつにっし
    tsupo
    tsupo 2006/06/24
    一番多いのは「アプリケーションサーバから正常な応答がない」 / キャッシュシステムの不具合: 正しく動かないものは使いたくありませんが、使わなければ高負荷により全ユーザが使えなくなるというジレンマ
  • プロキシエラーについて(続) - かいはつにっし

    tsupo
    tsupo 2006/06/24
    はっきり言ってしまえばわかっていません / 特定ができないことからキャッシュシステムが原因なのではと推測しています → 特定できないと対処のしようがないですよねぇ。キャッシュシステム以外の可能性は?
  • http://cocolog.typepad.com/blog/2006/06/post_5.html

    tsupo
    tsupo 2006/06/24
    proxy エラーとキャッシュシステムは関係ないと思われ。一時的にキャッシュシステムが止まってた期間も proxy エラーが起きてたので。データベース絡みの障害なのは、ほぼ確実。
  • http://cocolog.typepad.com/blog/2006/06/post_4.html

    tsupo
    tsupo 2006/06/21
    現在キャッシュシステムはココログレスポンス向上のために導入されておりますが、「他人の記事が表示される」「記事の編集ができない場合がある」「記事が削除しにくい」といった様々な不具合が判明しています
  • ブログサポート:みんなで解決!広場:ココログ:コメント一覧 - 318.検索エンジンのキャッシュ削除は?

    まず最初に質問のタイトルを入力してください。 「分かりません」「助けてください」といった一言タイトルではなく、質問の内容が一発で分かるようなタイトルにすることで、回答がもらえやすくなります。(良い例:アクセスカウンターの設定方法が分かりません)

    tsupo
    tsupo 2006/06/03
    Google には緊急削除依頼システムがあるが、Yahoo! にはない。meta タグを入れた html ファイルを用意して、クロールされるのを待つしかない。
  • Yahoo! - サイト管理者向け: 特定のページ、キャッシュを検索結果から削除したい

    Yahoo! JAPAN 指定されたページは存在しません。 各サービスのヘルプはYahoo! JAPANヘルプセンターからご覧ください。 プライバシーポリシー - 利用規約 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

    tsupo
    tsupo 2006/06/03
    <META NAME="ROBOTS" CONTENT="NOARCHIVE"> を html に入れることで、そのうち削除される。Google のような緊急削除依頼システムは用意されていない。
  • 1