wgetが超絶便利なwebクローラー、クローリングツールだとは知らなかった・・・！2013/04/08 この記事は書かれてから1年以上が経過しており、最新の情報とは異なる可能性があります techwgetCrawler ええ、知りませんでした。無知もいいところです・・・。 webコンテンツをざっくりローカルで見られるようにしたいなー。と思って、いろいろぐぐってました。 基点のURLからリンクやらリソースやらを辿って、それらをすべて落としてきて、 そこからさらにパスとかを変換してやればいいのかなーとか思っていたのですが、 ぐぐってみると、もうすでに 全部やってくれる便利なコマンドがある のではないですか。 それが、wget というソースコードをダウンロードするのによく使うコマンドだったことに驚きでした。 ちなみに mac は入ってないっぽいのでさくっと入れました。 brew install wget 普通の使い方は、wget のあとにダウンロードしたい URL を続けて引
