我現(xiàn)在有一個這樣的需求：有一個爬蟲函數(shù)是用Python寫的，剛好現(xiàn)在有一個網(wǎng)站也是用Python的Tornado寫的。我想實(shí)現(xiàn)在Tornado接收到一個新增任務(wù)的請求之后，自動將這個請求放入任務(wù)隊(duì)列，然后爬蟲函數(shù)自動從任務(wù)隊(duì)列中取出數(shù)據(jù)來。
由于網(wǎng)站規(guī)模并不大，為了部署方便不想使用redis或者其他消息隊(duì)列服務(wù)，如何讓爬蟲函數(shù)和Tornado寫的web程序能夠相互通信呢？
我現(xiàn)在的思路是建立一個main.py文件，然后先用queue模塊創(chuàng)建一個隊(duì)列，然后用threading庫同時啟動n個爬蟲函數(shù)的線程從queue中取數(shù)據(jù)，然后Toronto的handler里面再往queue中put數(shù)據(jù)，但是用代碼實(shí)現(xiàn)就會出現(xiàn)包循環(huán)引用導(dǎo)致報錯的現(xiàn)象。有什么辦法能夠讓兩個模塊共享一個線程安全的數(shù)據(jù)結(jié)構(gòu)呢？