Linux curl命令詳解
命令:curl
在Linux中curl是一個利用URL規則在命令列下工作的檔案傳輸工具,可以說是一款很強大的http命令列工具。它支援檔案的上傳和下載,是綜合傳輸工具,但按傳統,習慣稱url為下載工具。
語法:# curl [option] [url]
常見引數:
-A/——user-agent
例子:
1、基本用法
# curl http://www。linux。com
執行後,www。linux。com 的html就會顯示在螢幕上了
Ps:由於安裝linux的時候很多時候是沒有安裝桌面的,也意味著沒有瀏覽器,因此這個方法也經常用於測試一臺伺服器是否可以到達一個網站
2、儲存訪問的網頁
2。1:使用linux的重定向功能儲存
# curl http://www。linux。com >> linux。html
2。2:可以使用curl的內建option:-o(小寫)儲存網頁
$ curl -o linux。html http://www。linux。com
執行完成後會顯示如下介面,顯示100%則表示儲存成功
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed100 79684 0 79684 0 0 3437k 0 ——:——:—— ——:——:—— ——:——:—— 7781k
2。3:可以使用curl的內建option:-O(大寫)儲存網頁中的檔案
要注意這裡後面的url要具體到某個檔案,不然抓不下來
# curl -O http://www。linux。com/hello。sh
3、測試網頁返回值
# curl -o /dev/null -s -w %{http_code} www。linux。com
Ps:在指令碼中,這是很常見的測試網站是否正常的用法
4、指定proxy伺服器以及其埠
很多時候上網需要用到代理伺服器(比如是使用代理伺服器上網或者因為使用curl別人網站而被別人遮蔽IP地址的時候),幸運的是curl透過使用內建option:-x來支援設定代理
# curl -x 192。168。100。100:1080 http://www。linux。com
5、cookie
有些網站是使用cookie來記錄session資訊。對於chrome這樣的瀏覽器,可以輕易處理cookie資訊,但在curl中只要增加相關引數也是可以很容易的處理cookie
5。1:儲存http的response裡面的cookie資訊。內建option:-c(小寫)
# curl -c cookiec。txt http://www。linux。com
執行後cookie資訊就被存到了cookiec。txt裡面了
5。2:儲存http的response裡面的header資訊。內建option: -D
# curl -D cookied。txt http://www。linux。com
執行後cookie資訊就被存到了cookied。txt裡面了
注意:-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。
5。3:使用cookie
很多網站都是透過監視你的cookie資訊來判斷你是否按規矩訪問他們的網站的,因此我們需要使用儲存的cookie資訊。內建option: -b
# curl -b cookiec。txt http://www。linux。com
6、模仿瀏覽器
有些網站需要使用特定的瀏覽器去訪問他們,有些還需要使用某些特定的版本。curl內建option:-A可以讓我們指定瀏覽器去訪問網站
# curl -A “Mozilla/4。0 (compatible; MSIE 8。0; Windows NT 5。0)” http://www。linux。com
這樣伺服器端就會認為是使用IE8。0去訪問的
7、偽造referer(盜鏈)
很多伺服器會檢查http訪問的referer從而來控制訪問。比如:你是先訪問首頁,然後再訪問首頁中的郵箱頁面,這裡訪問郵箱的referer地址就是訪問首頁成功後的頁面地址,如果伺服器發現對郵箱頁面訪問的referer地址不是首頁的地址,就斷定那是個盜連了
curl中內建option:-e可以讓我們設定referer
# curl -e “www。linux。com” http://mail。linux。com
這樣就會讓伺服器其以為你是從www。linux。com點選某個連結過來的
8、下載檔案
8。1:利用curl下載檔案。
#使用內建option:-o(小寫)
# curl -o dodo1。jpg http:www。linux。com/dodo1。JPG
#使用內建option:-O(大寫)
# curl -O http://www。linux。com/dodo1。JPG
這樣就會以伺服器上的名稱儲存檔案到本地
8。2:迴圈下載
有時候下載圖片可以能是前面的部分名稱是一樣的,就最後的尾椎名不一樣
# curl -O http://www。linux。com/dodo[1-5]。JPG
這樣就會把dodo1,dodo2,dodo3,dodo4,dodo5全部儲存下來
8。3:下載重新命名
# curl -O http://www。linux。com/{hello,bb}/dodo[1-5]。JPG
由於下載的hello與bb中的檔名都是dodo1,dodo2,dodo3,dodo4,dodo5。因此第二次下載的會把第一次下載的覆蓋,這樣就需要對檔案進行重新命名。
# curl -o #1_#2。JPG http://www。linux。com/{hello,bb}/dodo[1-5]。JPG
這樣在hello/dodo1。JPG的檔案下載下來就會變成hello_dodo1。JPG,其他檔案依此類推,從而有效的避免了檔案被覆蓋
8。4:分塊下載
有時候下載的東西會比較大,這個時候我們可以分段下載。使用內建option:-r
# curl -r 0-100 -o dodo1_part1。JPG http://www。linux。com/dodo1。JPG# curl -r 100-200 -o dodo1_part2。JPG http://www。linux。com/dodo1。JPG# curl -r 200- -o dodo1_part3。JPG http://www。linux。com/dodo1。JPG# cat dodo1_part* > dodo1。JPG
這樣就可以檢視dodo1。JPG的內容了
8。5:透過ftp下載檔案
curl可以透過ftp下載檔案,curl提供兩種從ftp中下載的語法
# curl -O -u 使用者名稱:密碼 ftp://www。linux。com/dodo1。JPG# curl -O ftp://使用者名稱:密碼@www。linux。com/dodo1。JPG
8。6:顯示下載進度條
# curl -# -O http://www。linux。com/dodo1。JPG
8。7:不會顯示下載進度資訊
# curl -s -O http://www。linux。com/dodo1。JPG
9、斷點續傳
在windows中,我們可以使用迅雷這樣的軟體進行斷點續傳。curl可以透過內建option:-C同樣可以達到相同的效果
如果在下載dodo1。JPG的過程中突然掉線了,可以使用以下的方式續傳
# curl -C -O http://www。linux。com/dodo1。JPG
10、上傳檔案
curl不僅僅可以下載檔案,還可以上傳檔案。透過內建option:-T來實現
# curl -T dodo1。JPG -u 使用者名稱:密碼 ftp://www。linux。com/img/
這樣就向ftp伺服器上傳了檔案dodo1。JPG
11、顯示抓取錯誤
# curl -f http://www。linux。com/error
其他引數(此處翻譯為轉載):
-a/——append 上傳檔案時,附加到目標檔案——anyauth 可以使用“任何”身份驗證方法——basic 使用HTTP基本驗證-B/——use-ascii 使用ASCII文字傳輸-d/——data HTTP POST方式傳送資料——data-ascii 以ascii的方式post資料——data-binary 以二進位制的方式post資料——negotiate 使用HTTP身份驗證——digest 使用數字身份驗證——disable-eprt 禁止使用EPRT或LPRT——disable-epsv 禁止使用EPSV——egd-file SSL密碼——compressed 要求返回是壓縮的形勢 (using deflate or gzip)——connect-timeout