這節(jié)我們介紹爬蟲(chóng)能用來(lái)干什么.如今每天互聯(lián)網(wǎng)上的流量足足有10億GB左右，不可能毫無(wú)選擇的全部爬取下來(lái)，這是要根據(jù)我們自己的需求來(lái)有選擇的爬取相對(duì)應(yīng)的數(shù)據(jù).那爬蟲(chóng)可以用來(lái)干什么呢？我們根據(jù)實(shí)際需要將爬蟲(chóng)的目標(biāo)分為三類(lèi).

第一類(lèi)是通過(guò)搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)來(lái)充實(shí)搜索引擎的索引列表.這部分需求所需要的數(shù)據(jù)是各種網(wǎng)頁(yè)的地址，標(biāo)題，主題字等等.這方面比較知名的有g(shù)oogle爬蟲(chóng)，baidu爬蟲(chóng)，Yahoo爬蟲(chóng)等等。可以大致分為 批量型爬蟲(chóng)（Batch Crawler），增量型爬蟲(chóng)（Incremental Crawler），垂直型爬蟲(chóng)(Focused Crawter）.

第二類(lèi)建立自己的數(shù)據(jù)倉(cāng)庫(kù)，然后用各種機(jī)器學(xué)習(xí)模型來(lái)得出一些尋常無(wú)法得出的預(yù)測(cè)和分析.我們可以通過(guò)這些數(shù)據(jù)集來(lái)進(jìn)行預(yù)測(cè).比如說(shuō)股票，比特幣和各種風(fēng)險(xiǎn)交易.

比如說(shuō)，MIT發(fā)表過(guò)一篇論文.[Bayesian regression and Bitcoin].這篇論文以比特幣市場(chǎng)為例，用爬蟲(chóng)爬取的各種高頻交易的信息，通過(guò)機(jī)器學(xué)習(xí)建立的人工智能成功的預(yù)測(cè)比特幣短期價(jià)格的漲跌，然后做高頻交易.下面就是一張MIT只用了3天的training data訓(xùn)練出的部分交易結(jié)果圖，綠色點(diǎn)買(mǎi)入，紅色點(diǎn)賣(mài)出。

.只不過(guò)要達(dá)到這種水平，那么需要爬取到特別優(yōu)質(zhì)的數(shù)據(jù)集.而比特幣市場(chǎng)比起股票來(lái)說(shuō)是一個(gè)很簡(jiǎn)單的市場(chǎng)，但是這也能證明爬蟲(chóng)在該方面的運(yùn)用.

注：該MIT論文的鏈接是https://arxiv.org/pdf/1410.1231v1.pdf

第三類(lèi)為各種論文以及文章提供有力的數(shù)據(jù)支撐.

我們一般在報(bào)告中看到的有關(guān)于各行各業(yè)的數(shù)據(jù)分析圖，那都是通過(guò)抓取特定行業(yè)的專業(yè)數(shù)據(jù)，然后用各種數(shù)據(jù)分析也好，自己使用第三方可視化js庫(kù)也好，最終得出的這些表圖.同樣用例子來(lái)說(shuō)明.比例如，我們要找出全國(guó)氣溫最低的地方并直觀的表示出來(lái)，那么我們僅僅需要爬取一下全國(guó)的氣象信息，然后通過(guò)類(lèi)似于D3.js這種可視化js庫(kù)就可以得到一張柱狀圖.如下圖所示，這樣，全國(guó)最低氣溫就能直觀的顯示出來(lái)。同時(shí)也可以用過(guò)各種氣象論文中論點(diǎn)的有力支撐.

那么，看完了有關(guān)爬蟲(chóng)的用途，你是不是應(yīng)該想想自己想要做的爬蟲(chóng)最后會(huì)用來(lái)干什么呢？