反爬蟲技術(shù)如何實現(xiàn)

爬蟲，我知道一些方法如何去盡量避免被服務(wù)器檢測到這是爬蟲，如常見的header設(shè)置，還有selenium+chrome模擬等。好奇的是，服務(wù)器怎么樣去檢測判斷這些請求是爬蟲行為呢？我是做后臺服務(wù)的，一直沒有想明白，怎么去檢測是否是爬蟲？看到還有一些更高級的，甚至都可以檢測出瀏覽器是被selenium控制的，建立模型分析出這是爬蟲。反爬蟲技術(shù)，完全不會，希望可以對這個介紹一下，最基本的，或者推薦一些書籍、博客、技術(shù)文檔

回答

編輯回答

愿如初

一篇不錯的反爬蟲技術(shù)方案博文：https://github.com/FantasticL...

2018年5月27日 06:09

編輯回答

舊時光

舉一個我這邊正在應(yīng)對反爬的策略：
1.給需要增加反爬的接口增加一個參數(shù)，該參數(shù)的值是這個接口入?yún)⑺袇?shù)對象轉(zhuǎn)化為json串后，再通過一個固定2
的加密規(guī)則生成一串秘文。
2.后臺服務(wù)器根據(jù)這個參數(shù)，通過約定的秘鑰進(jìn)行解密，與傳過來的參數(shù)進(jìn)行比較，如果匹配，就認(rèn)為是正常請求，如果不匹配，就認(rèn)為是爬蟲。

因為加密解密策略只有自己知道，所以爬蟲不可能模仿，創(chuàng)造這個參數(shù)。

2017年11月10日 02:13

編輯回答

遲月

你好，爬蟲的抓取與反制是一個典型的貓鼠游戲，沒有一通百通一招制勝的絕學(xué)，都是隨著時代發(fā)展衍生出的一些此消彼長而已。
有關(guān)這方面的技術(shù)，可以看下我之前寫的的一篇博客，介紹的已經(jīng)非常全了，我也同步在了 segment網(wǎng)站的專欄里，上了segment的月度精華文章。

簡單地說，對于如今web技術(shù)當(dāng)中涌現(xiàn)出的各種headless瀏覽器也就是你提到的

selenium+chrome模擬等

需要服務(wù)端和客戶端配合起來，聯(lián)合對爬蟲抓取進(jìn)行反制與跟蹤，即使如此，攻擊與防御依然是相對的，你能做的只是提升抓取者的成本，而不可能一勞永逸。

PS：諷刺的是，我發(fā)現(xiàn)我的原創(chuàng)文章同步在了很多個博客ugc平臺，唯獨在segmentfault發(fā)布的版本被很多人匿名轉(zhuǎn)載了，其中恐怕有不少是被野爬的，看來segmentfault的反爬蟲防御門檻很低。不過沒關(guān)系，授人以漁者，自己肯定會留幾手的，如果你的網(wǎng)站業(yè)務(wù)中真的面臨大量爬蟲抓取的威脅，可以微博或推特聯(lián)系我，不同場景下的爬蟲防御反制技術(shù)需要結(jié)合你們具體業(yè)務(wù)特點來做，我目前手里掌握的一整套手段基本可以通殺市面上開源的各種爬蟲抓取工具，包括headless chrome（puppeteer）,哦對了，對headless chrome的反制，我博客里提到的一些手段已經(jīng)過時了，大家轉(zhuǎn)載時悠著點別把自己坑了哈哈

2017年8月7日 23:29

編輯回答

不歸路

2017年10月21日 05:57

編輯回答

空痕

理論上來說，只要在頁面上顯示的內(nèi)容，爬蟲就可以爬到。

服務(wù)端沒辦法完全百分百確定你是正常行為還是爬蟲，所以一般會在你有嫌疑的時候突然彈個驗證碼叫你輸入，以此來確認(rèn)你是不是爬蟲。

我曾經(jīng)聽過一個例子，某電商網(wǎng)站，在你瀏覽商品搜索頁面時，翻閱超過一定數(shù)量（比如20或者30）后，開始隨機(jī)插入假數(shù)據(jù)，因為他們的后臺統(tǒng)計里正常情況里不會瀏覽一個結(jié)果頁面這么深，如果假數(shù)據(jù)被點擊了，就開始把這個帳號列入嫌疑列表，當(dāng)假數(shù)據(jù)的點擊次數(shù)達(dá)到一個閥值，就判定你是爬蟲。要么說你帳號有危險彈個驗證碼、要么直接封號。

2017年10月16日 19:05

編輯回答