在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Python/ Pyspider onstart 函數(shù)怎么塞入百萬URL

Pyspider onstart 函數(shù)怎么塞入百萬URL

Pyspider 入口函數(shù) 怎么塞入 百萬級(jí)url, Run后 框架崩潰 ,這種大量的URL 如何傳遞

回答
編輯回答
故林

pyspider默認(rèn)的是sqlite數(shù)據(jù)庫,最快的方式可能是寫sql用數(shù)據(jù)庫工具直接導(dǎo)入task.db的庫里, Pyspider支持mysql等高性能的數(shù)據(jù)庫, 數(shù)據(jù)量大時(shí),換成mysql可能效率更高些

2018年3月18日 14:00