在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/人工智能  Python/ scrapy調(diào)用付費代理api,代理是每5秒只能獲取一次,請問需要在哪里設(shè)置

scrapy調(diào)用付費代理api,代理是每5秒只能獲取一次,請問需要在哪里設(shè)置

scrapy調(diào)用付費代理api,代理是每5秒只能獲取一次,請問需要在哪里設(shè)置。

因為本來想一次獲取100個ip,放入代理池中,但是因為代理不穩(wěn)地,不能長久提供支持。所以我就放棄了一次性獲取100個ip的想法。

言歸正裝,我現(xiàn)在是想每5秒獲取一次,中間件好像是每次發(fā)出request都會執(zhí)行一次,所以不知道放哪里好。
回答
編輯回答
陪我終

你可以把他扔到緩存里,緩存5秒失效

2018年6月12日 00:21
編輯回答
神經(jīng)質(zhì)

調(diào)用代理api的中間件里面設(shè)置個sleep 暫停時間。。。

2018年4月25日 10:56