IP模擬器
如果我的代理IP被禁止，我該怎么辦？隨著互聯(lián)網(wǎng)時(shí)代的發(fā)展，爬蟲IP的使用越來越普遍，爬蟲IP的使用也越來越不暢通。我們也會(huì)遇到這樣的情況，就是爬蟲IP被阻塞了，那么如果爬蟲代理IP被封了怎么辦呢？
爬行動(dòng)物和反爬行動(dòng)物一直有一英尺高和一英尺高的姿勢(shì)。防爬行技術(shù)增加了爬行的難度。各種爬蟲的爬行過程，可以說是與各種站長斗智斗勇，各種解決方案層出不窮。不過，這里的“簡單”解決方案絕對(duì)是基于一些基本的方法，可以在幾分鐘內(nèi)使用。
用戶IP代理偽裝和旋轉(zhuǎn)。
不同版本的瀏覽器有不同的user_agent，這是關(guān)于瀏覽器類型的詳細(xì)信息，也是瀏覽器提交http請(qǐng)求的重要頭信息。我們可以為每個(gè)請(qǐng)求提供不同的user_agent，繞過網(wǎng)站的反爬蟲機(jī)制來檢測客戶端。例如，您可以將許多user_agents放在一個(gè)列表中，每次隨機(jī)選擇一個(gè)來提交訪問請(qǐng)求。使用代理IP和旋轉(zhuǎn)。
檢查IP的訪問狀態(tài)是網(wǎng)站防爬行機(jī)制中最受歡迎的方式.此時(shí)，您可以更改為不同的ip地址來抓取內(nèi)容。當(dāng)然，您有許多具有公共IP地址的主機(jī)或VP，這是一個(gè)更好的選擇。如果沒有，您可以考慮使用代理服務(wù)器來幫助您獲取Web內(nèi)容，然后將其轉(zhuǎn)發(fā)到您的電腦。代理透明可分為透明代理、匿名代理和高度匿名代理：
透明度：目標(biāo)網(wǎng)站知道你使用的是代理和你的源IP地址，這顯然不符合這里使用代理的初衷。
匿名代理:匿名程度比較低，也就是網(wǎng)站知道你在使用代理，但不知道你的源IP地址。
高匿代理：這是最安全的方法。目標(biāo)網(wǎng)站不知道您使用的代理，也不知道您的源IP。
獲得代理的方法是購買，當(dāng)然，你也可以免費(fèi)爬。這里有一個(gè)網(wǎng)站（http://www.xicidaili.com/nn/)提供免費(fèi)代理的。你可以爬下來使用它，但免費(fèi)的代理通常不夠穩(wěn)定。
設(shè)置訪問間隔。
很多網(wǎng)站的防爬蟲機(jī)制都設(shè)置了訪問間隔時(shí)間。如果一個(gè)IP在短時(shí)間內(nèi)超過指定次數(shù)，就會(huì)進(jìn)入“冷卻盤”，所以除了旋轉(zhuǎn)IP還有user_agent。
您可以將訪問間隔設(shè)置得更長，例如，在不抓取頁面的情況下，隨機(jī)睡眠一段時(shí)間:。時(shí)間，隨機(jī)的時(shí)間。睡眠（隨機(jī)的。隨機(jī)的（）* 3) 對(duì)于一個(gè)爬蟲來說，這是一個(gè)比較負(fù)責(zé)任的方法。
由上可知，爬蟲在訪問對(duì)方網(wǎng)站時(shí)可能會(huì)造成負(fù)載壓力，所以這種防范不僅可以在一定程度上防止被屏蔽，還可以降低對(duì)方的訪問壓力。
