在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Python  網(wǎng)絡(luò)安全/ 在pyhton中有沒有一種庫或框架 可以動態(tài)生成任務(wù),并監(jiān)控其狀態(tài),并根據(jù)其狀態(tài)

在pyhton中有沒有一種庫或框架 可以動態(tài)生成任務(wù),并監(jiān)控其狀態(tài),并根據(jù)其狀態(tài)或?qū)傩裕瑢崟r的去掉任務(wù)或繼續(xù)運(yùn)行

看了celery aps 之類的庫,可是網(wǎng)上中文資料太少,還是一頭霧水
說一下需求:
1 比如體育比賽,一天有一百場,生成這一百場 比賽的URL 每個為一個任務(wù)扔到任務(wù)隊列里
2 根據(jù)其狀態(tài)比如結(jié)束時間,在這個時間前 每20分鐘爬取一次數(shù)據(jù)。時間到了就剔除這個任務(wù)不再爬取
3 任務(wù)會返回數(shù)據(jù)存入數(shù)據(jù)庫
有沒有類似這樣的解決方案 要用到什么樣的技術(shù) 求大佬們解惑

回答
編輯回答
大濕胸

可以用redis。

100場比賽,以比賽編號為value,時間為score 放入zset,這樣就會自動按時間排序。

然后你每次去取 zset的第一個元素,根據(jù)value去取具體的比賽截止時間,未超過則觸發(fā)爬蟲,然后時間+20分鐘,超過則從 zset刪除。

也可以不用redis的zset,使用一個有序集合代替。

2017年8月24日 22:13