關(guān)于爬蟲的若干問題

最近想利用爬蟲去獲取較為大量的數(shù)據(jù)，但是在爬的過程中遇到了若干問題，所以來和各位大神討教一下，如能解答，感激不盡。

1. 對(duì)于網(wǎng)頁鏈接數(shù)量較多的時(shí)候，用什么方式去爬能提升效率？

我現(xiàn)在是將所有的子頁鏈接存到一個(gè)數(shù)組里面，在對(duì)數(shù)組鏈接map操作，然后去獲取每一頁的數(shù)據(jù)。但是我現(xiàn)在所爬到的子頁鏈接有上萬個(gè)，爬取這些鏈接需要很長的時(shí)間，獲取鏈接之后的請(qǐng)求頁面獲取數(shù)據(jù)也要很久的時(shí)間。所以我想知道，有沒有更好的方式能夠提高爬蟲的效率的。

2. 獲取數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)應(yīng)該怎么處理

我在請(qǐng)求子頁面獲取數(shù)據(jù)之后，會(huì)將數(shù)據(jù)存儲(chǔ)到mongodb里面，但是事實(shí)證明，這種寫法讓我的爬蟲存儲(chǔ)效率低下，而且經(jīng)常出現(xiàn)堆棧溢出的情況。所以我想了解一下大神們獲取到數(shù)據(jù)之后是怎么存儲(chǔ)數(shù)據(jù)的，我聽過讀寫分離，但是不知道這具體是怎樣的一個(gè)概念，有大神講解下么~

3. 對(duì)于爬到錯(cuò)誤數(shù)據(jù)的處理

有些時(shí)候，所爬到頁面的數(shù)據(jù)，是不符合存儲(chǔ)標(biāo)準(zhǔn)的，但是我不知道這部分的數(shù)據(jù)是應(yīng)該放過，還是重新請(qǐng)求頁面重新獲取一次。我現(xiàn)在是如果請(qǐng)求到的數(shù)據(jù)不合格，就會(huì)換個(gè)ip重新請(qǐng)求頁面，知道數(shù)據(jù)符合為止。但是這樣很有可能造成死循環(huán)，所以想知道大神們對(duì)這種狀況的處理方式。

4. 用mongo存儲(chǔ)數(shù)據(jù)的問題

從昨晚到今天，總共有將近7w個(gè)子鏈接，但是我的mongodb里只多了5k條數(shù)據(jù)。所以我想了解一下，關(guān)于mongodb，有沒有什么可參考數(shù)據(jù)之類的，可以讓我了解一下它的真實(shí)性能。順便如果有大神肯分享一些mongo使用技巧和心得的話，那就更感謝了。。。
小菜鳥新入門，如果有犯低級(jí)錯(cuò)誤的地方，歡迎各位大神指正。