問題

多線程爬蟲，數(shù)據(jù)源是DruidDataSource，SQL很長且確定沒有錯(cuò)誤，就不貼了。畢竟如果是SQL的問題，那么本地執(zhí)行速度也會(huì)很慢。

程序打Jar包丟在阿里云服務(wù)器上運(yùn)行發(fā)現(xiàn)爬蟲速度很慢，查詢?nèi)罩景l(fā)現(xiàn)保存到數(shù)據(jù)庫這塊耗時(shí)50s；同樣代碼在idea直接執(zhí)行耗時(shí)為1s。

// 獲取連接
while (true) {
    try {
        connection = ds.getConnection();
        if (connection != null)
            break;
    } catch (SQLException e) {
        Thread.sleep(150);
    }
}

// 保存到數(shù)據(jù)庫
logger.debug(task.getObjectid()+"解析完成，開始保存到數(shù)據(jù)庫："+System.currentTimeMillis());
connection.createStatement().execute(infoDetailSql + "; " + attrSql + "; " + updateTaskSql);
logger.debug(task.getObjectid()+"保存到數(shù)據(jù)庫完成："+System.currentTimeMillis());

查看服務(wù)器監(jiān)控，資源占用均未超過50%。

爬蟲服務(wù)器、數(shù)據(jù)庫服務(wù)器各服務(wù)器之間通信良好。

希望各位能不吝賜教，點(diǎn)出可能存在的問題。