重寫了RetryMiddleware的process_exception方法。期望在遇到特定問題的時(shí)候直接停止爬取。

from scrapy.exceptions import CloseSpider

class CustomRetryMiddleware(RetryMiddleware):
    def process_exception(self, request, exception, spider):
        if xxx:
            raise CloseSpider('強(qiáng)制停止')
        

但是在實(shí)際運(yùn)行時(shí)發(fā)現(xiàn)。在并發(fā)較高或者任務(wù)較多的情況下。在raise之后還會(huì)處理相當(dāng)長一段時(shí)間的任務(wù)才會(huì)退出。

請問是我的raise 使用方法有問題，還是我哪里的配置需要修改？

.有哪位大佬知道怎么處理嗎