PHP Curl模擬登入並抓取資料

PHP Curl模擬登入並抓取資料

使用PHP的Curl擴充套件庫可以模擬實現登入,並抓取一些需要使用者賬號登入以後才能檢視的資料。具體實現的流程如下(個人總結):

1。 首先需要對相應的登入頁面的html原始碼進行分析,獲得一些必要的資訊:

(1)登入頁面的地址;

(2)驗證碼的地址;

(3)登入表單需要提交的各個欄位的名稱和提交方式;

(4)登入表單提交的地址;

(5)另外要需要知道要抓取的資料所在的地址。

2。 獲取cookie並存儲(針對使用cookie檔案的網站):

$login_url = ‘http://www。xxxxx’; //登入頁面地址

$cookie_file = dirname(__FILE__)。“/pic。cookie”; //cookie檔案存放位置(自定義)

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $login_url);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);

curl_exec($ch);

curl_close($ch);

3。 獲取驗證碼並存儲(針對使用驗證碼的網站):

$verify_url = “http://www。xxxx”; //驗證碼地址

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $verify_url);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$verify_img = curl_exec($ch);

curl_close($ch);

$fp = fopen(“。/verify/verifyCode。png”,‘w’); //把抓取到的圖片檔案寫入本地圖片檔案儲存

fwrite($fp, $verify_img);

fclose($fp);

說明:由於不能實現驗證碼的識別,所以我這裡的做法是,把驗證碼圖片抓取下來存放到

本地檔案中,然後在自己專案中的html頁面中顯示,讓使用者去填寫,等使用者填寫

完賬號、密碼和驗證碼,並點選提交按鈕之後再去進行下一步的操作。

4。 模擬提交登入表單:

$ post_url = ‘http://www。xxxx’; //登入表單提交地址

$post = “username=$account&password=$password&seccodeverify=$verifyCode”;

//表單提交的資料(根據表單欄位名和使用者輸入決定)

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $ post_url);

curl_setopt($ch, CURLOPT_HEADER, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //提交方式為post

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);

curl_exec($ch);

curl_close($ch);

5。 抓取資料:

$data_url = “http://www。xxxx”; //資料所在地址

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $data_url);

curl_setopt($ch, CURLOPT_HEADER, false);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);

$data = curl_exec($ch);

curl_close($ch);

到目前為止,已經把資料所在地址的這個頁面都抓取下來儲存在字串變數$data中了。

需要注意的是抓取下來的是一個網頁的html原始碼,也就是說這個字串中不僅包含了你想要的資料,還包含了許多的html標籤等你不想要的東西。所以如果你想要從中提取出你需要的資料的話,你還要對存放資料的頁面的html程式碼進行分析,然後結合字串操作函式、正則匹配等方法從中提取出你想要的資料。

以上方法對使用http協議的一般網站是有效的。但是如果你要模擬登入的是使用了https協議的網站的話還需要新增如下一些處理:

1。 跳過https驗證:

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

2。 使用使用者代理:

$UserAgent = ‘Mozilla/4。0 (compatible; MSIE 7。0; Windows NT 6。0; SLCC1; 。NET CLR 2。0。50727; 。NET CLR 3。0。04506; 。NET CLR 3。5。21022; 。NET CLR 1。0。3705; 。NET CLR 1。1。4322)’;

curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

注意:如果不新增這些處理的話模擬登入時是不能成功的。

使用以上程式模擬登入網站一般都是能成功的,但是實際上還是需要針對模擬登入的網站具體情況具體考慮。例如:有些網站編碼不同,所以你抓取下來的頁面是亂碼的,這時就要進行一下編碼轉換,如:$data = iconv(“gb2312”, “utf-8”,$data);,把gbk編碼轉換為utf8編碼。還有一些對安全性要求比較高的網站,比如網銀,會把驗證碼放在一個內聯框架中,這時你就需要先抓取到內聯框架的頁面然後在從中提取出驗證碼的地址,再去抓取驗證碼。還有一些網站(比如網銀)是在js程式碼中去提交表單的,提交表單之前還會去做一些處理,比如加密等,所以如果你是直接提交的話也是不能登入成功的,你必須要去做類似的處理後再提交,但是這種情況如果你能知道js程式碼中進行的具體操作,比如加密的話,加密演算法是怎樣的,你就可以進行跟它一樣的處理,然後再去提交資料,這樣也是能成功的。但是,關鍵的地方來了,如果你根本不知道它進行的是什麼操作,比如它進行了加密,但是你不知道加密的具體演算法,那麼你就無法進行相同的操作,也就不能成功地模擬登入了。這方面典型的案例就是網銀,它在js程式碼中提交表單之前使用網銀控制元件對使用者提交的密碼和驗證碼進行了一些處理,但是我們根本不知道它進行的是什麼操作,所以無法模擬。所以如果你以為你看了本文之後就能模擬登入網銀的話那麼你就太天真了,人家銀行的網站能那麼容易被你模擬登入嗎?當然,如果你能破解網銀控制元件的話,那就另當別論了。話說回來,為什麼我的感受如此深刻,因為我就遇到這個難題了,不說了,說多了都是淚啊。。。