在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/人工智能/ redis 做消息隊列,控制隊列的消費間隔。

redis 做消息隊列,控制隊列的消費間隔。

最近遇到了一個難題。

我是用redis做消息隊列的。每個隊列都包含一個任務(wù)id,

簡單的流程如下:

1、從list里面讀取id,消費這個任務(wù)

2、根據(jù)id,從數(shù)據(jù)庫讀取這個任務(wù)的詳細信息。

數(shù)據(jù)結(jié)構(gòu)如下:比如

ID=1 URL:abc.com
ID=2 URL:abd.com
ID=3 URL:ab3.com
……

我現(xiàn)在需要做一個功能。

控制每個url的域名的訪問間隔。 比如 任務(wù)里面的url里面有 abc.com 和 efg.com

我需要控制每隔5秒消費一個包含abc.com任務(wù),每個10秒消費一個包含efg.com的任務(wù)

如果兼顧性能的同時又能完成這個功能?


加個條件:分布式、幾百萬個隊列,幾十臺服務(wù)器

回答
編輯回答
瘋子范

你可以存放到兩個 zset 隊列,以時間作為 score 排序,5s的zset1,插入時記錄下可以消費的時間(當前時間+5),每次取最老的記錄出來消費,判斷當前時間是否超過消費時間,超過則消費。然后10s放入zset2,同理操作。

2017年4月22日 02:18
編輯回答
心夠野

執(zhí)行結(jié)束後加個判斷 如果包含abc.com sleep(5)

2017年9月16日 08:01
編輯回答
別傷我

樓主可以了解下 beanstalked是內(nèi)存隊列

2018年8月14日 18:35
編輯回答
陪妳哭

目前是我是這樣處理的:

1、lpop任務(wù)。
2、檢測這個任務(wù)是否間隔了X秒。
3、如果符合,則消費,如果不符合,不消費。如果不消費,使用lpush命令推入隊列。

這個功能的挑戰(zhàn)性在于性能。如果單單一臺服務(wù)器,那沒什么問題,幾百萬個任務(wù)隊列的時候,問題就來了。
進行這些檢測,每多一個步驟,都會增加很多額外的開銷,qps會很高,有些隊列本來可以及時消費,卻沒有去消費。造成很多累積。

2018年2月16日 16:49
編輯回答
咕嚕嚕

還有一個問題,為什么不檢測就會多次推入同一個任務(wù)呢?你不是先pop的么?

2018年8月13日 16:27