在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/Java  數(shù)據(jù)庫/ mybatis查詢大數(shù)據(jù)量gcc over limited問題

mybatis查詢大數(shù)據(jù)量gcc over limited問題

1.spring boot中使用mybatis查詢一個500萬條數(shù)據(jù)然后進行計算并重新入新表,200萬條的時候直接卡死GC了
2.mybatis框架實現(xiàn),dao層返回List<object> ,先后試過全查(不行,直接卡死),
分頁(在200萬條卡死),cursor(沒有GC,但是因為連接超時被關(guān)閉)
3.請問這樣大數(shù)量查詢計算,有沒有好的優(yōu)化方案,因為邏輯比較復(fù)雜,感覺用存儲過程會比較費勁

回答
編輯回答
凝雅

可以進行分批處理,寫一個batch的處理方法就行了,每次處理一部分?jǐn)?shù)據(jù),比如1w,這樣的話,不會隨著數(shù)據(jù)量的增大導(dǎo)致gc,最多只是處理時間變長而已

2018年3月2日 19:30