IP模擬器
很多從事爬蟲業(yè)務(wù)的人發(fā)現(xiàn)，他們使用的是一個穩(wěn)定的代理IP，并控制訪問速度和頻率。他們發(fā)現(xiàn)，有時候爬蟲工作會遇到各種問題，工作無法順利進(jìn)行，然后如何解決爬蟲使用代理IP后遇到的問題。
分布式爬蟲，爬行時，可以采用一種分布式的方法，有一定的幾率起到反爬行的作用，也可以增加爬行量。
保存cookie，模擬登錄比較麻煩的時候，可以直接登錄網(wǎng)頁，刪除cookie并保存，然后將cookie作為爬蟲使用，但這不是長久之計，cookie可能過一段時間就失效了。
多帳戶防爬，很多網(wǎng)站會通過在一段固定的時間內(nèi)訪問賬戶的頻率來判斷它是否是機(jī)器人。在這種情況下，可以測試單個Account的固定時間值，時間快到的時候再切換代理IP，這樣就可以循環(huán)抓取了。
驗證碼的問題，爬蟲經(jīng)常會在很長一段時間后遇到驗證碼的問題。這是為了驗證你不是機(jī)器人，不是為了認(rèn)可你是爬蟲類機(jī)器人。第一種解決方法：遇到這種情況，可以將驗證碼下載到本地，然后手動輸入驗證碼進(jìn)行驗證。這種方法成本很高，不能完全自動捕獲，需要人工干預(yù)。第二種解決方案：驗證碼可以通過圖像識別自動填寫，但目前的驗證碼大多比較復(fù)雜，不熟悉圖像識別的話無法識別正確的驗證碼。第三種解決方案：可以訪問自動編碼平臺。這個是最方便的，不過你需要購買。
不同的網(wǎng)站有不同的反爬行方法，一套爬行策略不會適用于任何一個網(wǎng)站。因此，需要根據(jù)具體情況進(jìn)行分析，不斷地進(jìn)行測試和分析過程，找出本網(wǎng)站的反爬蟲策略，這樣才能事半功倍。
