從網(wǎng)站抄了一個爬蟲想爬點產(chǎn)品信息,不知道為什么產(chǎn)品單頁就是爬不下來。
但是測試了下其它頁面都是可以爬的,為什么呢?
搜獲了下返回error信息,和爬蟲似乎毫無關(guān)系。
返回error
events.js:183
throw er; // Unhandled 'error' event
^
Error: read ECONNRESET
at _errnoException (util.js:1022:11)
at TLSWrap.onread (net.js:628:25)
附上代碼:
var cheerio = require('cheerio');
var http = require('https');
var iconv = require('iconv-lite');
var index = 1;
var n = 0;
var url = 'https://www.thermofisher.com/search/browse/category/cn/zh/602198?navId=10861&resultPage=';
var titles = [];
var datas = [];
//獲取目錄的href
function getTitle(url, i) {
console.log('now get ' + i + ' page');
http.get(url + i + '&resultsPerPage=15', function(sres) {
var chunks = [];
sres.on('data', function(chunk) {
chunks.push(chunk);
});
sres.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'UTF-8');
var $ = cheerio.load(html, { decodeEntities: false });
$('h2>a').each(function(idx, element) {
var $element = $(element);
titles.push({
title: $element.attr('href')
});
});
if (i < 5) {
getTitle(url, ++index);
} else {
console.log(titles);
console.log("over");
getData(titles, n);
}
})
})
}
//獲取產(chǎn)品信息
function getData(urls, n) {
console.log('now get ' + n + ' data');
var link = urls[n].title.toString();
console.log(link);
http.get(link, function(sres) { //這里出錯,卡一段時間后報錯,把link換成其它地址可以爬去。
var chunks = [];
sres.on('data', function(chunk) {
chunks.push(chunk);
})
sres.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'UTF-8');
var $ = cheerio.load(html, { decodeEntities: false });
$('.container h1').each(function(idx, element) {
var $element = $(element);
console.log($element);
datas.push({
name: $element.text()
});
});
if (n < urls.length - 1) {
getData(titles, ++n);
} else {
console.log('ok');
console.log(datas);
}
})
})
}
function main() {
console.log("start");
getTitle(url, index);
}
main();北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達內(nèi)教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合/校企合作的政策,積極推進“中國制造2025”,實現(xiàn)中華民族偉大復興的升級產(chǎn)業(yè)鏈。利用北京大學優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓領(lǐng)域的先行者
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務(wù)負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。