在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Python/ pyspider如何判斷任務(wù)結(jié)束

pyspider如何判斷任務(wù)結(jié)束

我現(xiàn)在設(shè)置了每30分鐘自動執(zhí)行一次抓取
clipboard.png

因為數(shù)據(jù)要經(jīng)過處理才能保存到數(shù)據(jù)庫，我需要在任務(wù)完成一輪后再進(jìn)行處理。
在沒有設(shè)置自動執(zhí)行前我是通過“on_finished”來判斷任務(wù)是否完成，但現(xiàn)在設(shè)置自動執(zhí)行后好像并不會調(diào)用“on_finished”這個方法。求大神指點我現(xiàn)在應(yīng)該怎么做。

回答
編輯回答
茍活

我的解決方案是把 for 循環(huán)寫成 detail_page 遞歸，用 save 來傳遞數(shù)據(jù)

save = {
    'current': 3,
    'all': 20,
    'allUrls': [url1, ... url20],
    'results': [result1, result2],
}

if current == all，執(zhí)行數(shù)據(jù)庫操作

2018年8月6日 23:52