第1回Webスクレイピング勉強会@東京 （全3回） - Qiita
official connpass 「Webスクレイピングの基礎知識」（@nezuq） SlideShare 3つの壁を突破する 倫理 情報解析目的なら合法と解析と解釈(文化庁のQAに肯定的記述) 常識的な範囲でのアクセス障害なら過失と言える。(国立国会図書館の場合、1秒以上あけてスクレイピングなら可能) 技術 最低限でもHTMLの知識 事例(どう使うか) データジャーナリズム(データからストーリーを見つけ提供する。NHKでやってる) Data Journalism Handbook(大義がある) 「オープンデータのためのスクレイピング 〜抽出・共有・分析まで〜」（@ito_nao） SlideShare プログラミング不要でスクレイピング出来るwebサービスのご紹介 Tabula PDFからデータを抽出するツール kimono paginationが得意。 構造化されたクローリングは苦手
Apacheのログから応答速度分布やエラー状況を分析する（原始的な方法） | TeraDas（テラダス）
遊びで Apache のログを分析した時のメモです。 Google Analytics や Chartbeat などのブラウザ側解析ツールも便利ですが、サーバの健全性を確認するには、Apache のログ解析もまだまだ不要とは言えないと思います。 awk の力技で解析するので、あまり巨大なデータでは無理がありますが、個人サイトに毛が生えたくらいまでなら十分使えるでしょう。 記事最後の参考ページをパクってちょっといじっただけですが、自分用の備忘録って事で。 なお、参考ページの方は、ステータスコード 500/200 の比率を出すワンライナー等なども作っておられます。 Apacheのログに処理時間を出力する設定まずは、Apache のログに処理時間が出力されていないと話が始まりません。 httpd.conf なりで combined 形式の最後に %D (処理時間をマイクロ秒で）を追加した Log
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
