タグ

wgetに関するhdkINO33のブックマーク (3)

  • curlとWgetの比較 | POSTD

    curlとWgetの主な違いについて著者(Daniel Stenberg)の私見を述べています。自分の子どもとも言える curl をひいきしていますが、 Wget にも携わっているので、思い入れがないわけではありません。 この記事に関するご感想やご意見をお寄せください。 問題点や改善点があると思われる場合は、 Issueやpull-requestを発行 してください。 共通点 FTPやHTTP、HTTPSからコンテンツをダウンロードできるコマンドラインツールです。 HTTP POSTリクエストを送信できます。 HTTPクッキーをサポートしています。 スクリプトの中で使用したりできるよう、ユーザインタラクションがなくても動作するようにデザインされています。 完全なオープンソースで、無料のソフトウェアです。 開発プロジェクトとして90年代に立ち上げられました。 metalink をサポートして

    curlとWgetの比較 | POSTD
  • wget で認証付きサイトをダウンロードする - WebOS Goodies

    WebOS Goodies へようこそ! WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 皆さん、 wget というツールはご存知でしょうか。コマンドラインの HTTP/FTP ダウンロードツールなのですが、これがなかなかに高機能なのです。例えば HTML 中のリンクを辿る再帰的ダウンロードや、絶対パスリンクの相対パスへの変換など、多彩な機能を持っています。きちんと活用すれば、サイトをまるごとダウンロードしてローカルで閲覧することもできます。 さらに、

  • セッションキーとして出力されるCookieをwgetで保存する - hogepiyo

    認証付きのサイトにログインした状態を再現しながらwgetでアクセスするときに、セッションキーとして出力されるCookieを保存してあとで使えるようにする方法。 --save-cookies=file 出力されたCookieを保存するが、期限切れだったりexpiresがないCookieは保存されないので、次のオプションも指定する。 --keep-session-cookies コイツを付けてやることで、上記のCookieも保存できる。 login.txtにID/Passwordなど認証時にPOSTする情報を入れておき、まずは認証通過させてCookieを取得する。 $ wget -O - --post-file=login.txt --save-cookies=cookie.txt --keep-session-cookies http://www.example.com/login いったん

    セッションキーとして出力されるCookieをwgetで保存する - hogepiyo
  • 1