scrapy 跨組件傳遞參數

啟動框架開始爬取目標網頁start_url之后，需要從start_url這個字符串中提取一個特征值，作為MongoDB數據庫的collection名，再通過pipeline將item存儲。
大致流程：
圖片描述

根據框架流程來看是可以實現的，spider的處理在pipeline之前
圖片描述

pipeline中相關代碼：

import pymongo

class MongoPipeline(object):

    #collection_name = 'Gsl6RoxfN'           

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

現在的問題就是如何將spider中的變量collection_name傳遞到pipeline中
感謝閱讀提問
Thanks in advance

回答

編輯回答

默念

個人覺得有兩種方法:
一是在spider模塊中,將你需要的collection_name定義為全局變量,然后在pipelines模塊中導入過來.
二是可以在item中增加一個collection_name字段,在pipelines中使用 item.pop('collection_name')彈出來即可

2017年8月2日 15:54

編輯回答

不歸路

引用 @玉帛的方法，可以解決問題，實現“從MongoDB讀取start_url，對start_url進行處理，生成特征值，再將特征值傳遞給pipeline作為collection表名”的操作，具體解決方案如下。

Spider中：

def start_requests(self):
    client = pymongo.MongoClient('localhost',27017)
    db_name = 'Sina'
    db = client[db_name]
    collection_set01 = db['UrlsQueue']
    datas=list(collection_set01.find({},{'_id':0,'url':1,'status':1}))
    for data in datas:
        if data.get('status') == 'pending':
            url=data.get('url')
            pattern='(?<=/)([0-9a-zA-Z]{9})(?=\?)'
            if re.search(pattern,url):
                collection_name=re.search(pattern,url).group(0)
            start_url='https://weibo.cn/comment/'+collection_name+'?ckAll=1'
            collection_set01.update({'url':url},{'$set':{'status':'proccessing'}})                
            break
        else:
            pass
    client.close()
    yield Request(url=start_url,callback=self.parse, cookies=cookie, meta={'collection_name':collection_name})

從數據庫中獲取start_url，提取特征值，并對其處理，帶meta參數發(fā)送request

def parse(self,response):
        collection_name=response.meta['collection_name']
        ......
        for i in range(0,len(node)):
            item['collection_name']=collection_name
            yield item

parse()從response中解析數據的同時提取回傳的meta參數

Pipeline中：

def close_spider(self, spider):
    self.db['UrlsQueue'].update({'status':'proccessing'},{'$set':{'status':'finished'}})
    self.client.close()

def process_item(self, item, spider):
    self.collection_name=item.pop('collection_name')
    self.db[self.collection_name].insert_one(dict(item))
    return item

pop掉collection_name參數即可

非常感謝 @玉帛的幫助

2017年3月7日 07:24