教你怎麼用Python爬取愛奇藝熱門電影

一、首先我們要找到目標

找到目標先分析一下網頁很幸運這個只有一個網頁，不需要翻頁。

二、F12檢視網頁原始碼

找到目標，分析如何獲取需要的資料。找到href與電影名稱

三、進行程式碼實現，獲取想要資源。

操作步驟1，獲取到url內容 2，css選擇其選擇內容 3，儲存自己需要資料 #匯入爬蟲需要的包import requestsfrom bs4 import BeautifulSoup#requests與BeautifulSoup用來解析網頁的import time#設定訪問網頁時間，防止自己IP訪問多了被限制拒絕訪問import reclass Position（）： def __init__（self，position_name，position_require，）：#構建物件屬性 self。position_name=position_name self。position_require=position_require def __str__（self）： return class Aiqiyi（）： def iqiyi（self，url）： head= { } #模擬的伺服器頭 html = requests。get（url，headers=head） #headers=hard 讓指令碼以瀏覽器的方式去訪問，有一些網址禁止以python的反爬機制，這就是其中一個 soup = BeautifulSoup（html。content， soupl = soup。select（“。qy-list-wrap”） # 查詢標籤，用css選擇器，選擇自己需要資料進行選擇頁面第一次內容（標籤要找到唯一的，找id好，如果沒有考慮其他標籤如class） results = ［］ # 建立一個列表用來儲存資料 for e in soupl： biao = e。select（ for h in biao： p=Position（h。select_one（ h。select_one（ results。append（p） return results # 返回內容 def address（self，url）： #儲存網址 head = { } # 模擬的伺服器頭 html = requests。get（url， headers=head） soup = BeautifulSoup（html。content， alist = soup。find（ ls=［］ for i in alist： ls。append（i。get（ return ls if __name__ == time。sleep（2） #設定2秒訪問一次 a=Aiqiyi（） url = “https：//list。iqiyi。com/www/1/——————-11-1-1-iqiyi——。html” with open（file= for item in a。iqiyi（url）： line = f f。write（line） # 採用方法 print（“下載完成”） with open（file= for item in a。address（url）： line=f f。write（line） # 採用方法 print（“下載完成”）1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374

四、檢視現象