相手のサーバにHTTP(S)で接続できるかどうかを確認するときにリトライしながらやりたいんですけどって時 - その手の平は尻もつかめるさ
例えばCIでテストのためのストレージのコンテナを上げる際，そのストレージが上がりきるまで待たなければテストには使えないわけですが「上がりきるまで何秒待てばよいのか」というのは一概に決められるものではありません． そうした際，実際にストレージに対してHTTP(S)のリクエストを投げてみて，繋がったら「上がりきった」とみなして処理を次に進めるというようなことがよく書かれます．そういった要件を満たす為には接続に失敗したらリトライをしつつ一定回数試行するという処理を書かなくてはなりません． つまりはそういう話です． wgetの場合 retry-connrefused tries waitretry を利用すると出来る． retry-connrefused が無いと connection refusedに対応できずにリトライが不可能となるので，今回のような要件を満足するためには付ける必要があります．
HTTP/2 with curl
HTTP/2 with curl HTTP/2 Spec http2 explained Build prerequisites nghttp2 OpenSSL, libressl, BoringSSL, GnuTLS, mbedTLS, wolfSSL or Schannel with a new enough version. nghttp2 libcurl uses this 3rd party library for the low level protocol handling parts. The reason for this is that HTTP/2 is much more complex at that layer than HTTP/1.1 (which we implement on our own) and that nghttp2 is an already
Fixed in 7.51.0 - November 2 2016 | cURL - Changes
Bugfixes: Fixed empty tool_hugehelp.c file Fixed in 8.7.0 - March 27 2024 Changes: configure: add --disable-docs flag CURLINFO_USED_PROXY: return bool whether the proxy was used digest: support SHA-512/256 DoH: add trace configuration write-out: add '%{proxy_used}' Bugfixes: ALTSVC.md: correct a typo asyn-ares: fix data race warning asyn-thread: use wakeup_close to close the read descriptor badwor
Uploading to S3 in 18 lines of Shell (used to upload builds for http://soltrader.net)
s3.sh ` �� �̕� # You don't need Fog in Ruby or some other library to upload to S3 -- shell works perfectly fine # This is how I upload my new Sol Trader builds (http://soltrader.net) # Based on a modified script from here: http://tmont.com/blargh/2014/1/uploading-to-s3-in-bash S3KEY="my aws key" S3SECRET="my aws secret" # pass these in function putS3 { path=$1 file=$2 aws_path=$3 bucket='my-aws-bu
curl とxpath でお手軽スクレイピング - それマグで！
この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。 公開遅いけど。ごめんね この記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。 この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行 用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応 基本方針は「JSに対応しない」 だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE
a curl cheat sheet | daniel.haxx.se
MOAR DOX! Whenever we ask curl users what they lack in our project and what we should improve, the response is always clear: documentation. Here are the most common curl command line options when doing HTTP operations. This is the web page rendered as an image, click it to get to the web version. The source for the document/image is on github. As always, you can help improving it. Update: see the
curlとjqで簡単にAPIの調査をする - $shibayu36->blog;
ちょっとAPIを調査したいと思った時に、スクリプトを書くのも面倒なのでcurlとjqとかを利用してみたら、便利だったのでメモ。今回はTrelloをちょっといじってみた。 Redirecter ひとまずcurlでjsonを出す これは普通にcurlするだけ。 curl 'https://api.trello.com/1/boards/4d5ea62fd76aa1136000000c/cards'これでは見づらい。 curlで出たjsonをpretty化する jqに通すだけでpretty化と更に色付けされる。 curl 'https://api.trello.com/1/boards/4d5ea62fd76aa1136000000c/cards' | jq '.' curlで出たjsonの一部だけ表示する jqはjsonをいろいろ絞り込み出来る。 例えばリストの5件目まで表示。 curl 'h
xargsからのcURL
1200くらいのURLのリストを渡され、そのURLのファイルをダウンロードする必要があった。今更ダウンローダーをダウンロードしてきて、インストールして、使って、アンインストールするのも面倒だったので、xargsからcURLをつなげてやった。 $ xargs -n 1 -P 4 curl -OL < urllist.txt xargsは、-n 1で標準入力を一行ずつの処理でき、-P 4で指定したコマンドを4つ並行に走らせることができる。cURLでは-Oを使ってURLから保存するファイル名を取り、-Lでリダイレクトを辿るようにする。これで4つ並行にファイルをダウンロードできた。 xargsはもちろん、cURL程になっても使い方を覚えてなくても--helpでなんとなくわかる。こういう--helpやGoogleで使い方や利用例がわかるCLIツールは、ほとんど何も覚える必要がない(どういう目的のツー
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Chrome Feature: Copy as cURL | LornaJane
I surprised someone with my leet skills the other with this technique, so I thought I’d share it on the blog in case anyone else hadn’t seen it – I use it ALL the time :) Chrome has a feature which allows you to copy a web request as a curl request, so you see all the various elements of the request on the command line. As an example, let’s consider a request to my site http://lornajane.net. I tur
HTTP from the Command-Line | httpkit | Tools for hacking on HTTP
about httpkit Wiretap is a tool that helps you integrate apps with REST APIs. It's like your browser's network tab, but for mobile and server-side apps. It shows you requests and responses in real-time. Wiretap needs some beta testers. Join the Wiretap beta. Assembled by Kris Jordan. Working with HTTP from the command-line is a valuable skill for HTTP architects and API designers to have. The cURL
wgetとcurlの根本的な違い - ctrlshiftの日記
UNIXの代表的なダウンローダにwgetとcurlがあります。 たいていの場合どんなOSでも、どちらかのソフトがインストールされているのではないかと思います。 しかし、この2つのダウンローダの機能は、一見似ているようにも見えますが、実はそれぞれに特徴が見られるので、今日はそれについて解説してみます。 wgetの特徴 wgetのスペルは「片手でもコマンドできる」ということもあって、多くの人から気に入られています。 そんなwgetの特徴として、最も際立っているのが、クローラとして動作可能という点です。 オプションで-rを付加してやることで再帰的に動作し、-lでその深さを指定することができます。 また、-Aや-Rを利用すれば、ダウンロードする拡張子のホワイトリストとブラックリストを指定することも可能です。 つまり、特定のサイト内に散らばって存在するファイルを、拡張子によって指定ダウンロードできる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/hiboma/hiboma/blob/master/%E5%90%84%E7%A8%AE%E3%83%84%E3%83%BC%E3%83%AB%E3%81%AE%E3%82%BF%E3%82%A4%E3%83%A0%E3%82%A2%E3%82%A6%E3%83%88%E5%AE%9F%E8%A3%85%E3%81%BE%E3%81%A8%E3%82%81.md
How do I pipe the output of uptime/df to curl?