在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Python  網(wǎng)絡(luò)安全/ 在pyhton中有沒有一種庫或框架 可以動態(tài)生成任務(wù)，并監(jiān)控其狀態(tài)，并根據(jù)其狀態(tài)

在pyhton中有沒有一種庫或框架 可以動態(tài)生成任務(wù)，并監(jiān)控其狀態(tài)，并根據(jù)其狀態(tài)或?qū)傩裕瑢崟r的去掉任務(wù)或繼續(xù)運(yùn)行

看了celery aps 之類的庫，可是網(wǎng)上中文資料太少，還是一頭霧水
說一下需求：
1 比如體育比賽，一天有一百場，生成這一百場 比賽的URL 每個為一個任務(wù)扔到任務(wù)隊列里
2 根據(jù)其狀態(tài)比如結(jié)束時間，在這個時間前 每20分鐘爬取一次數(shù)據(jù)。時間到了就剔除這個任務(wù)不再爬取
3 任務(wù)會返回數(shù)據(jù)存入數(shù)據(jù)庫
有沒有類似這樣的解決方案 要用到什么樣的技術(shù) 求大佬們解惑

回答
編輯回答
大濕胸

可以用redis。

100場比賽，以比賽編號為value,時間為score 放入zset，這樣就會自動按時間排序。

然后你每次去取 zset的第一個元素，根據(jù)value去取具體的比賽截止時間，未超過則觸發(fā)爬蟲，然后時間＋20分鐘，超過則從 zset刪除。

也可以不用redis的zset，使用一個有序集合代替。

2017年8月24日 22:13