在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Python/ scrapy獲得的response是json格式數(shù)據(jù)時(shí)怎么從中提取信息?

scrapy獲得的response是json格式數(shù)據(jù)時(shí)怎么從中提取信息?

已解決,代碼如下:

jsobj = json.loads(response.body)
comment = jsobj['comment']
print(comment)

——————————————————————————————

爬蟲新手,學(xué)習(xí)scrapy抓取到的Ajax方式加載的頁面(部分)。
不知道放鏈接會不會違規(guī),就放了部分json數(shù)據(jù)。

{"ok":true,"comment":"<div cid=\"5a0d4892030235aa7eae9974\" class=\"col-sm-6 col-lg-4 col-xs-12 needmasonry isnew\"><div class=\"thumbnail\"><div class=\"caption\"><div data-cid=\"5a0d4892030235aa7eae9974\" class=\"media clearfix\"><a href=\"/user/807836/comments\" target=\"_blank\" class=\"pull-left\"><img src=\"http://img.lkong.cn/avatar/000/80/78/36_avatar_small.jpg\" onerror=\"this.src='http://img.lkong.cn/avatar/noavatar_small.png';this.onerror=null;\" class=\"img-rounded\"/></a><div class=\"media-body\"><span class=\"media-heading\">paweika</span><br/><span class=\"small\">2017/11/16 16:13         </span></div></div><p class=\"commentcontent\">XXX\r\n<br>xxxXXXXX </p><hr/><div data-cid=\"5a0d4892030235aa7eae9974\" style=\"width:100%\" class=\"btn-group\"><button type=\"button\" onclick=\"ys.common.loveonecomment(this)\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-heart-o\"></i>&nbsp;喜歡 <span class=\"num\"> 2  </span></button><button type=\"button\" onclick=\"ys.common.viewOneComment('5a0d4892030235aa7eae9974')\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-reply\"></i>&nbsp;評論<span class=\"num\"> </span></button></div></div></div></div><div cid=\"5a16f1060077cebc7ed4a4ea\" class=\"col-sm-6 col-lg-4 col-xs-12 needmasonry isnew\"><div class=\"thumbnail\"><div class=\"caption\"><div data-cid=\"5a16f1060077cebc7ed4a4ea\" class=\"media clearfix\"><a href=\"/user/962403/comments\" target=\"_blank\" class=\"pull-left\"><img src=\"http://img.lkong.cn/avatar/000/96/24/03_avatar_small.jpg\" onerror=\"this.src='http://img.lkong.cn/avatar/noavatar_small.png';this.onerror=null;\" class=\"img-rounded\"/></a><div class=\"media-body\"><span class=\"media-heading\">XXXX</span><br/><span class=\"small\">2017/11/24 00:02         </span></div></div><p class=\"commentcontent\">XXXXXXXXXXX </p><hr/><div data-cid=\"5a16f1060077cebc7ed4a4ea\" style=\"width:100%\" class=\"btn-group\"><button type=\"button\" onclick=\"ys.common.loveonecomment(this)\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-heart-o\"></i>&nbsp;喜歡 <span class=\"num\"> 1  </span></button><button type=\"button\" onclick=\"ys.common.viewOneComment('5a16f1060077cebc7ed4a4ea')\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-reply\"></i>&nbsp;評論<span class=\"num\"> 3   </span></button></div></div></div></div><div cid=\"5a0da2be833f95967e250d6f\" class=\"col-sm-6 col-lg-4 col-xs-12 needmasonry isnew\"><div class=\"thumbnail\"><div class=\"caption\"><div data-cid=\"5a0da2be833f95967e250d6f\" class=\"media clearfix\"><a href=\"/user/687106/comments\" target=\"_blank\" class=\"pull-left\"><img src=\"http://img.lkong.cn/avatar/000/68/71/06_avatar_small.jpg\" onerror=\"this.src='http://img.lkong.cn/avatar/noavatar_small.png';this.onerror=null;\" class=\"img-rounded\"/></a><div class=\"media-body\"><span class=\"media-heading\">XXXXX</span><br/><span class=\"small\">2017/11/16 22:37         </span></div></div><p class=\"commentcontent\">XXXXXXXX </p><hr/><div data-cid=\"5a0da2be833f95967e250d6f\" style=\"width:100%\" class=\"btn-group\"><button type=\"button\" onclick=\"ys.common.loveonecomment(this)\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-heart-o\"></i>&nbsp;喜歡 <span class=\"num\"> 15  </span></button><button type=\"button\" onclick=\"ys.common.viewOneComment('5a0da2be833f95967e250d6f')\" style=\"width:50%\" class=\"btn btn-default\"> <i class=\"fa fa-reply\"></i>&nbsp;評論<span class=\"num\"> </span></button></div></div></div></div><div cid=\"5a19cea615173cd97ea4cd26\" class=\"col-sm-6 col-lg-4 col-xs-12 needmasonry isnew\"><div class=\"thumbnail\"><div class=\"caption\"><div data-cid=\"5a19cea615173cd97ea4cd26\" class=\"media clearfix\"><a href=\"/user/855941/comments\" target=\"_blank\" class=\"pull-left\"><img src=\"http://img.lkong.cn/avatar/000/85/59/41_avatar_small.jpg\" onerror=\"this.src='http://img.lkong.cn/avatar/noavatar_small.png';this.onerror=null;\" class=\"img-rounded\"/></a><div class=\"media-body\"><span class=\"media-heading\">XXXXXXXX</span><br/><span class=\"small\">2017/11/26 04:12   

這個(gè)是獲取到的一頁中的部分json格式的數(shù)據(jù),自己使用xpath提取信息時(shí)各種意外,如:

這xpath語句只能獲取一條信息:

item = response.xpath('string(//span)').extract()

還有定位不到的問題。

請問各位前輩,這種所有內(nèi)容全在一個(gè){}中的json數(shù)據(jù)該怎么提取信息呢?

還可以像xml文件那樣使用for循環(huán)遍歷標(biāo)簽嗎?

請知道處理辦法的前輩指點(diǎn)迷津。深夜感謝!感謝!

回答
編輯回答
離魂曲

python有一個(gè)內(nèi)置的json模塊。直接import json然后x=json.loads(response_str)

2017年6月26日 06:37