隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，代理IP出現(xiàn)了，這是網(wǎng)絡(luò)爬蟲不可或缺的東西。Ip地址池是IP的一個段，即一個范圍，主要用于特殊的IP段。您可以在路由器中設(shè)置地址池。為了自己提取ip，有效提高工作效率，很多網(wǎng)絡(luò)爬蟲選擇設(shè)計自己的代理ip池。那么如何設(shè)計IP池以及后續(xù)的維護(hù)代理IP：

 

動態(tài)IP模擬器(1)獲取代理ip接口

 

一般有API提供對IP的訪問，會有一定的限制，比如每次提取多少，提取間隔是多少秒。如果您正在抓取免費(fèi)代理IP，請使用ProxyGetter接口從免費(fèi)代理源網(wǎng)站抓取最新的代理IP。

 

(2)建立數(shù)據(jù)庫

 

用于存儲獲取的代理IP，建議使用SSDB。SSDB表現(xiàn)突出，基本相當(dāng)于雷迪斯。Redis是內(nèi)存類型，容量問題是軟肋，內(nèi)存成本太高。針對這一弱點(diǎn)，SSDB使用硬盤存儲和谷歌的高性能存儲引擎LevelDB，適合大數(shù)據(jù)處理，性能優(yōu)化到Redis級別。

 

(3)代理ip檢測計劃

 

IP具有時效性。無論是免費(fèi)代理IP還是付費(fèi)代理IP，都是有有效期的，過了有效期就失效了，所以要查有效期。設(shè)置定時檢測方案，檢測代理IP的有效性，刪除無效IP和高延時IP，并進(jìn)行預(yù)警。當(dāng)IP池中的IP小于某個閾值時，將通過代理IP獲取接口獲取新的IP。

 

(4)代理ip池的外部接口

 

有了代理IP池，還需要設(shè)計一個外部接口，通過這個接口可以將IP池中的IP調(diào)用給爬蟲。代理IP池功能比較簡單，用Flask就可以了。功能可以是為爬蟲提供獲取/刪除/刷新等接口，方便爬蟲直接使用。

 

動態(tài)IP模擬器目前，互聯(lián)網(wǎng)上有很多代理ip，有免費(fèi)的，也有付費(fèi)的。因?yàn)楦顿M(fèi)代理ip通常更貴，更多的人會選擇免費(fèi)代理IP，但免費(fèi)IP不夠穩(wěn)定和安全。所以我建議你不要用免費(fèi)代理IP做網(wǎng)絡(luò)爬蟲。現(xiàn)在最高的隱藏級別高，穩(wěn)定性好的一般更多的是做注冊、發(fā)帖等營銷和游戲加速，以及數(shù)據(jù)采集類應(yīng)用的用戶。而且市面上很多代理IP都是普通IP。修改后，別人就可以通過某種手段找到你原來的IP地址，如果你想讓別人發(fā)現(xiàn)，那你就得選擇高隱藏IP。