?從這一小節(jié)開始，我們開始了解常用的幾個(gè)反爬手段.首先是封禁類.我們經(jīng)常會(huì)遇到爬取過度而導(dǎo)致IP被封或者是賬號(hào)被封。你知道是怎么一回事么? 在這里，我們將詳細(xì)的了解下我們在什么情況下會(huì)遭到此類懲罰。同時(shí)，一些常用的判斷規(guī)則又是什么？一般來說，我們?nèi)绻|發(fā)了反爬系統(tǒng)所設(shè)定的條件的話，就會(huì)引發(fā)封禁.該手段一般設(shè)定的標(biāo)準(zhǔn)有這幾種：

• 是否攜帶有一個(gè)正常訪問下所有的header頭，cookies和正常的UserAgent.針對(duì)與這種情況，我們只要通過模仿瀏覽器發(fā)送的包，將我們的爬蟲所發(fā)送的HTTP請(qǐng)求上都掛上和瀏覽器發(fā)送的請(qǐng)求一樣的header頭和cookie就行。此類標(biāo)準(zhǔn)由于技術(shù)難度低，且反爬簡易，現(xiàn)在一般不采用此類.
• 根據(jù)行為是否表現(xiàn)的像一次人為的操作，諸如不分晝夜的機(jī)械化的發(fā)送請(qǐng)求，每次只讀取特定內(nèi)容，相隔固定的秒數(shù)分秒不差的，都可以認(rèn)為是一個(gè)robot在操作.該類的話，需要我們模擬出一個(gè)正常的人類讀取網(wǎng)頁時(shí)的行為，比如使用亂序時(shí)間，將爬蟲每輪間隔的爬取時(shí)間使用隨機(jī)時(shí)間等待這些方法，這么做的話，比較不容易觸發(fā)規(guī)則.
• 在網(wǎng)頁源代碼中設(shè)置一些正常訪問看不到的標(biāo)簽，然而爬蟲會(huì)觸發(fā)到的標(biāo)簽，從而達(dá)到封禁的效果。如果在試驗(yàn)過程中發(fā)現(xiàn)這些措施的話，可以通過精準(zhǔn)定位的方式（后面所講的Xpath,selector）來避開那些有毒的代碼塊.

封禁的標(biāo)準(zhǔn)千千萬萬，閾值也是每個(gè)網(wǎng)站都不同.我們應(yīng)當(dāng)在正式爬取之前，先寫幾個(gè)測試用意的爬蟲，用來試探該網(wǎng)站的反爬策略，從而決定我們的反反爬措施. 當(dāng)然還有最終的解決辦法，那么就是看封禁的是什么。大多數(shù)情況下，封禁的是IP地址，那么這時(shí)候我們可以去通過代理IP來無視掉封禁IP的情況.代理IP也就是代理網(wǎng)絡(luò)用戶去取得網(wǎng)絡(luò)信息.我們?nèi)绻ㄟ^代理IP來獲取信息的話，那么就可以無視掉依靠IP封禁的反爬策略.一般基本上主流的HTTP庫都提供代理功能.但有利必有弊，通過代理IP進(jìn)行中轉(zhuǎn)固然可以無視封禁，但代理節(jié)點(diǎn)的穩(wěn)定性和速度就直接影響到整體爬蟲的效率.如果該代理節(jié)點(diǎn)時(shí)常掉線，延時(shí)居高不下，那么從最終效果上來看就和不掛代理依靠低速運(yùn)行來躲避閾值的爬蟲一樣.如何維持一個(gè)延遲低，可用率高的代理IP池不在本文敘述范圍內(nèi)，請(qǐng)自行尋找資料.

總而言之，封禁類中的如何判斷是否是爬蟲是反爬系統(tǒng)的核心關(guān)鍵所在，確定了是爬蟲之后，那么就不光是封禁，可能會(huì)有各種手段懲罰或者戲弄你.比如后面講的投毒，無限循環(huán)，偽裝404頁面等待.敬請(qǐng)期待