在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問(wèn)答/HTML/ node爬蟲爬下來(lái)的圖片本地?zé)o法打開此文件?

node爬蟲爬下來(lái)的圖片本地?zé)o法打開此文件?

代碼,圖片能下載下來(lái),但是打不開,求大神們幫助
https://data.countryflags.com...
第一個(gè)頁(yè)面找到下載的網(wǎng)址。從第二個(gè)頁(yè)面找到圖片鏈接 下載

var http = require('https');
var fs = require('fs');
var cheerio = require('cheerio');
var request = require('request');
var i = 0;
var q = 0;
var url = "https://data.countryflags.com/products/en/category/2996352/tiles/population-desc.html"; 
//初始url 

function fetchPage(x) {     //封裝了一層函數(shù)
  startRequest(x); 
}
// 第一個(gè)頁(yè)面  爬取第二個(gè)頁(yè)面網(wǎng)址
function startRequest(x) {
     //采用http模塊向服務(wù)器發(fā)起一次get請(qǐng)求      
    http.get(x, function (res) {     
        var html = '';        //用來(lái)存儲(chǔ)請(qǐng)求網(wǎng)頁(yè)的整個(gè)html內(nèi)容
        var titles = [];        
        res.setEncoding('utf-8'); //防止中文亂碼
        //監(jiān)聽data事件,每次取一塊數(shù)據(jù)
        res.on('data', function (chunk) {   
            html += chunk;
            // console.log(html)
        });
        //監(jiān)聽end事件,如果整個(gè)網(wǎng)頁(yè)內(nèi)容的html都獲取完畢,就執(zhí)行回調(diào)函數(shù)
        res.on('end', function () {
          var $ = cheerio.load(html); //采用cheerio模塊解析html
          var link = 'https:' + $("div.thumbnail a.clearfix").attr('href')
          secondRequest(link)
        });

    }).on('error', function (err) {
        console.log(err);
    });

}
// 第二個(gè)頁(yè)面  爬取圖片 和 名稱
function secondRequest(link){
  http.get(link, function (res) {     
    var html = '';        //用來(lái)存儲(chǔ)請(qǐng)求網(wǎng)頁(yè)的整個(gè)html內(nèi)容
    var titles = [];        
    res.setEncoding('utf-8'); //防止中文亂碼
    //監(jiān)聽data事件,每次取一塊數(shù)據(jù)
    res.on('data', function (chunk) {   
        html += chunk;
        // console.log(html)
    });

    //監(jiān)聽end事件,如果整個(gè)網(wǎng)頁(yè)內(nèi)容的html都獲取完畢,就執(zhí)行回調(diào)函數(shù)
    res.on('end', function () {
      var $ = cheerio.load(html); //采用cheerio模塊解析html
      var news_item = {
        //獲取文章的標(biāo)題
        title: $('div.panel-heading h3.panel-title').eq(0).text().trim(),   
        //獲取圖片url  爬取small png
        link:  'https:' + $("table.table-btn-spacing tbody tr").eq(1).children('td').eq(0).find('a').attr('href'),
        //i是用來(lái)判斷獲取了多少篇文章
        q: q = q + 1,     

      };
      savedImg($,news_item);    //存儲(chǔ)每篇文章的圖片及圖片標(biāo)題
    });

  }).on('error', function (err) {
      console.log(err);
  });

}


//該函數(shù)的作用:在本地存儲(chǔ)所爬取到的圖片資源
function savedImg($,news_item) {
  var img_filename = news_item.title + '.png';
  var img_src = news_item.link; //獲取圖片的url
  var options = {
    url: img_src,
    headers: {
      'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
    }
  };
  //采用request模塊,向服務(wù)器發(fā)起一次請(qǐng)求,獲取圖片資源
  request.head(options,function(err,res,body){
      if(err){
          console.log(err);
      }
  });
  request(options).pipe(fs.createWriteStream('./image/'+ img_filename));     //通過(guò)流的方式,把圖片寫到本地/image目錄下,并用新聞的標(biāo)題和圖片的標(biāo)題作為圖片的名稱。
  // request('https://cdn.countryflags.com/download/yemen/flag-png-small.png').pipe(fs.createWriteStream('./image/'+ img_filename)); 

}

fetchPage(url);      //主程序開始運(yùn)行
回答
編輯回答
終相守
// request('https://cdn.countryflags.com/...').pipe(fs.createWriteStream('./image/'+ img_filename));

沒(méi)看出圖片存儲(chǔ)有什么問(wèn)題,注釋代碼能存儲(chǔ)圖片并打開吧?
到時(shí)看到防止中文亂碼并不能防止,之所以亂碼是在dataevent中使用字符串相加,而表示1個(gè)中文的buffer可能被截?cái)唷?/p>

2017年7月24日 04:19