from multiprocessing import Pool, Queue
import os, time, random
def long_time_task(name, queue):
print('Run task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
end = time.time()
print('Task %s runs %0.2f seconds.' % (name, (end - start)))
print(queue.get())
if __name__=='__main__':
print('Parent process %s.' % os.getpid())
p = Pool(2)
q = Queue(10)
for j in range(10):
q.put(j)
for i in range(5):
p.apply_async(long_time_task, args=(i, q))
print('Waiting for all subprocesses done...')
p.close()
p.join()
print('All subprocesses done.')
以上代碼是不行的,不會執(zhí)行想要的效果。
如果我想在多個進程中共用一個全局隊列,應該如何操作?Google過了,還是不太清除其中的知識點。麻煩前輩們解惑。
多進程共用全局隊列,那么無外乎兩種情況,一種全局隊列存在內(nèi)存中,比如用redis,一種全局隊列存在硬盤上,比如數(shù)據(jù)庫mysql。
多進程通信的話還可以考慮pipe和socket, multiprocessing.Manager.Queue就是pipe通信。
from multiprocessing import Pool, Manager
import os, time, random
def long_time_task(name, queue):
print('Run task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
end = time.time()
print('Task %s runs %0.2f seconds.' % (name, (end - start)))
print(queue.get())
if __name__=='__main__':
print('Parent process %s.' % os.getpid())
p = Pool(2)
q = Manager().Queue(10)
for j in range(10):
q.put(j)
for i in range(5):
p.apply_async(long_time_task, args=(i, q))
print('Waiting for all subprocesses done...')
p.close()
p.join()
print('All subprocesses done.')北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達內(nèi)教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學校辦產(chǎn)業(yè)為響應國家深化產(chǎn)教融合/校企合作的政策,積極推進“中國制造2025”,實現(xiàn)中華民族偉大復興的升級產(chǎn)業(yè)鏈。利用北京大學優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓領域的先行者
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。