我來分享一個方法，讓你能迅速爬取谷歌搜尋結果頁上的所有網址，實現5分鐘抓取200個國外客戶網站。
最終你會得到這樣的結果（截圖中全是客戶官網首頁地址）：
先分享思路：
將谷歌調為一頁100條搜尋結果；
製作“過濾器”；
使用谷歌外掛 過濾器批次獲取網址；
在Excel中去重；
得到網址之後，不管是用hunter批次獲取網站的地址，又或者是用ahrefs批次分析網站流量找到合適的站長，就隨你了。
重要的是，我們用以上四步節約了大量時間，以下正文。
將谷歌調為一頁100條搜尋結果
第一步是將谷歌調為一頁100條搜尋結果，非常簡單，如圖所示，點開谷歌搜尋頁，右下角選中“設定→搜尋設定”。
文章寫到這裡，我在想既然谷歌能直接展示100個頁面，那有沒有辦法讓谷歌呈現1，000個頁面或者10，000個頁面？
我用“can google display more than 100 result per page？”作為關鍵詞查了下，翻了幾個帖子發現都沒提到怎麼突破100上限，估計谷歌的查詢最多隻能返還100個結果吧。
暫時不管這個問題，如果你知道怎麼一次性獲取超過100個結果頁，請私信我，送你個小禮物（我猜應該有，只要拼接下查詢結果就行……用Python很容易實現，不過這個教程是寫給小白的，就不dive too deep了）。
製作“過濾器”
再然後輸入你想查的關鍵詞，比如WordPress Theme，在谷歌瀏覽器上右鍵任意搜尋結果，然後點選“檢查”（沒錯，我們要看它的原始碼）：然後在設定頁面中，將每頁的搜尋數調為“100”。
然後在最下面會出現一個原始碼的框，觀察一下，當把滑鼠放到對應的程式碼塊上時，這個程式碼塊代表的文字會在瀏覽器上高亮出來：
我們要的是網址，所以上下翻找下，特別是三角形的下拉小箭頭，也可以展開收起，一個個遍歷，最終我們會找到一串代表著網址的程式碼塊（哪怕你不熟悉程式碼，用最最笨的方法，5分鐘也肯定能找到的）：
然後右鍵這串程式碼，選擇“copy→copy xpath”：
此時你會得到類似於以下程式碼的東西（不要驚慌，不需要理解，照做就行）：
//*[@id="rso"]/div[1]/div/div[1]/a/div/cite/text()
這串程式碼其實就是個過濾器，待會兒我們會用谷歌外掛批次抓取搜尋結果頁的原始碼，如果有這個過濾器去過濾，最後我們就會得到一個網址，在我們的案例中，就是wordpress。org。
但我們想要的是一次性過濾出100個網址，所以我們要改造下這個過濾器，把裡面所有的數字以及對應的中括號全刪掉，就得到以下過濾器：
//*[@id="rso"]/div/div/div/a/div/cite/text()
這個過濾器就是個沒什麼特徵的過濾器，能一次性匹配所有符合條件的結果，而不是僅匹配一個結果。
使用谷歌外掛 過濾器批次獲取網址
點選下面的連結可以下載到我們需要的外掛“Scraper”，下載好之後，在搜尋結果頁上右鍵點選頁面空白處，會看到選單欄出現一個“scrape similiar”。
點選後會自動進入到如下介面，也就說明我們把網頁上的原始碼成功抓取過來了：
在左上角填入我們上一步準備好的過濾器後，點選左下角的“scrape”，最後點選右下角的“copy to clipboard”，就能把所有抓取到網址複製到貼上板了
注意，這些網址有很大可能性有重複，比如搜尋B2B的詞，alibaba。com和amazon。com很有可能重複幾十次，這時候就要用到Excel的去重功能。
在Excel中去重
開啟Excel，將我們上一步得到的結果貼上進來：
為了一次性把全部搜尋結果都拿到手，我們可以把重複第四步，把所有搜尋頁的網址都收集到一起：
谷歌會把他認為重複度很高的頁面隱藏起來，為了沒有漏網之魚，我們可以進入最後一頁，在最後一頁有“重新搜尋以顯示省略的結果”這一選項。
點選之後會出現更多頁面，在我這個例子裡，“WordPress theme”有將近500個頁面，夠我們分析的：
抓取完所有的網址之後，我們會得到一個很超長的Excel列表，選中所有的資料，點選Excel的“表格→刪除重複項”：
拿到資料後怎麼處理？
我平常做營銷工作，需要和很多站長保持溝通，但也並不是每個網站都值得我花時間做調研以及和背後的站長social的，所以我一般會複製到付費的SEO工具ahrefs裡，批次分析這些網站的關鍵詞和流量。
Ahrefs這個“Batch analysis”非常好用，這也是我一直推薦它的原因之一。
分析之後會得到類似下面的結果，點選“DR”，就可以按照域名的權威性來排名，原名權重越高的網站，說明很多問題，有可能是網站存在時間很長，有可能是網站影響力很大，總而言之，排名越靠前的網站，背後的那個站長是越值得結交的。
然後就可以按照這個排序，從高到底把所有網站背後的站長都挖出來。
加餐：怎麼根據網址找郵箱？
雖然在外貿人面前說這個問題有點班門弄斧，但我一般用Hunter。io來找郵箱，挺好用的，其他方法請參考料神的課程，他把這個話題說到極致了。
如果一個網站的郵箱一直找不到，我也不會浪費太多時間在找郵箱上，好網站一大把，多一個不多，少一個不少。
除非這個網站真的非常好，各方面都吸引了我，我窮盡一切可能也要和背後的站長結交上，否則我真的不願意傾注過多精力在一項資源上（能讓我如此瘋狂的網站，在我整個營銷生涯也沒幾個）。
That‘s it！有時候做營銷工作也不要太死腦筋，有限時間要做盡量多能賺到錢的工作才對。
本來以為技術型文章沒人看，就放詢盤自由網沒管了，沒想到很多朋友反饋很好。
關於批次找客戶網站，你平時最常用的方法是什麼？留言讓我知道。
來自浙江金華的kevinb外貿
如果你有外貿方便的困擾，歡迎私信找我交流！ 記得關注、轉發、評論一波
