IP模擬器
網(wǎng)絡(luò)爬蟲(chóng)沒(méi)有代理IP真的不可能嗎？ 有朋友問(wèn)：爬蟲(chóng)一定要使用代理IP嗎？ 很多人認(rèn)為爬蟲(chóng)必須使用代理IP，沒(méi)有代理IP就很難做到。 其他人說(shuō)不需要代理IP。 那么他們這樣認(rèn)為的原因是什么呢？
朋友說(shuō)他用機(jī)車(chē)收集器收集了一些文章，然后篩選出符合他要求的進(jìn)行處理。 他從未使用過(guò)代理IP。 每天收集約10,000件。 他認(rèn)為沒(méi)有可以正確抓取的代理IP。
朋友說(shuō)自己寫(xiě)了爬蟲(chóng)程序。 該公司的任務(wù)是每天抓取數(shù)十萬(wàn)頁(yè)。 有時(shí)，當(dāng)任務(wù)很多時(shí)，一天要花費(fèi)數(shù)百萬(wàn)。 爬了又爬，IP被封了。 沒(méi)有代理IP一點(diǎn)都不好，他認(rèn)為沒(méi)有代理IP爬蟲(chóng)很難做到。
顯然，他們說(shuō)的很有道理，而且他們用親身經(jīng)歷證明了自己的觀點(diǎn)。 實(shí)際上，爬蟲(chóng)本質(zhì)上就是訪問(wèn)網(wǎng)頁(yè)的用戶。 只是一個(gè)不那么聽(tīng)話的特殊用戶而已。 服務(wù)器一般不歡迎這樣的特殊用戶，總是用各種手段去發(fā)現(xiàn)和禁止。 最常見(jiàn)的就是判斷你的訪問(wèn)頻率，因?yàn)槠胀ㄈ嗽L問(wèn)網(wǎng)頁(yè)的頻率不會(huì)很快，如果你發(fā)現(xiàn)某個(gè)IP訪問(wèn)太快，這個(gè)IP就會(huì)被屏蔽。
任務(wù)量不是很大的時(shí)候，像第一個(gè)朋友，可以慢慢爬，但是頻率不是很快。 從目標(biāo)服務(wù)器來(lái)看，在不影響正常運(yùn)行的情況下是可以容忍的。 可以屏蔽IP，所以他可以在沒(méi)有代理IP的情況下完成日常任務(wù)。
當(dāng)任務(wù)量比較大的時(shí)候，比如第二個(gè)朋友，一天有幾十億的數(shù)據(jù)，慢慢爬就完成不了任務(wù)。 如果你加快爬升，目標(biāo)服務(wù)器將承受太大的壓力。 IP將被封鎖，任務(wù)也將無(wú)法完成。 那怎么辦呢，只能用代理IP來(lái)解決問(wèn)題了。
比如一個(gè)IP在短時(shí)間內(nèi)被訪問(wèn)100次，目標(biāo)服務(wù)器就會(huì)認(rèn)為訪問(wèn)速度過(guò)快，導(dǎo)致IP被阻塞。 如果10個(gè)代理IP在短時(shí)間內(nèi)訪問(wèn)10次，不會(huì)被認(rèn)為是過(guò)早屏蔽。 當(dāng)工作量巨大時(shí)，使用代理IP往往可以事半功倍，這也是為什么人們認(rèn)為沒(méi)有代理IP就沒(méi)有網(wǎng)絡(luò)爬蟲(chóng)的原因。
