在項(xiàng)目中需要通過采集 api 數(shù)據(jù)，其中每個(gè) api 都會(huì)有大量數(shù)據(jù)返回。目前情況是 一百三十多個(gè) api ，每個(gè) api 的數(shù)據(jù)量在 1w 字符 到 10w 字符不等。獲取到之后需要進(jìn)行處理，判斷是否是需要的（一般只需要它更新后的內(nèi)容，之前有的寫入數(shù)據(jù)庫的可以不需要），然后進(jìn)行保存數(shù)據(jù)，并做緩存處理。但在這個(gè)過程中，大概要做的處理操作次數(shù)為 130 * 150 ，19500+ 次。而且還需要做些其它操作。這樣就導(dǎo)致了大量時(shí)間消耗，而在這個(gè)項(xiàng)目中需求的是一個(gè)快速的處理數(shù)據(jù)，保證數(shù)據(jù)的一個(gè)即時(shí)性。
這還只是在采集數(shù)據(jù)的一個(gè)問題，而在需要數(shù)據(jù)展示的時(shí)候還要對這批數(shù)據(jù)進(jìn)行快速處理以供使用，所以現(xiàn)在對代碼優(yōu)化，數(shù)據(jù)處理方面的好方法。希望能給提供建議。python 也可以。