排查了3天，最后可算是把 這個問題解決了，最后還是有完完全全的刨析了一次，scrapy-redis的源碼才找到問題.排查這個，要從爬蟲運行后，Redis中的隊列情況來入手

排查思路

• 首先查看Redis中的請求隊列的情況，發(fā)現(xiàn)在執(zhí)行過程中只有存儲指紋過濾的隊列和item的隊列，沒有存儲Request的隊列
• 查看源碼發(fā)現(xiàn)，scrapy-redis在將請求入隊列和出隊列時，采用的是，將請求序列化后進行l(wèi)push和lpop后反序列化
• 然后開啟斷點調(diào)試模式。在request lpush后，查看redis的情況，這時在redis中會出現(xiàn)key:reuqest的隊列，但是只有一個請求
• 繼續(xù)斷點發(fā)現(xiàn) 在lpop后，由于只向redis中添加了一個request,所以在lpop后，list中就沒有元素了，redis會自動把list刪除
• 所以這時，另一個爬蟲在查詢主機的redis請求隊列時，是查詢不到任何request的，所以是一直等待的狀態(tài)。
• 這個跟爬取的數(shù)據(jù)結(jié)構(gòu)有感，爬取的是一個分頁的列表數(shù)據(jù)，是在解析完當(dāng)前頁面后，才會生成下一頁的請求的。是深度優(yōu)先的模式
• 每次只生成一個請求，所以redis請求隊列維護的也只有一個請求。所以就造成這樣的問題
• 出現(xiàn)問題的代碼如下

        # 單頁面解析完成，開始構(gòu)建下一頁的數(shù)據(jù)
        next_page_link = response.xpath('//div[@class="grid-8"]/div[@class="navigation margin-20"]/a[@class="next page-numbers"]/@href').extract_first()

        if next_page_link is None or len(next_page_link) == 0:
            log.logger.info('completed all page request')

        else:
            log.logger.info('will request next page and request url is %s'%next_page_link)
            #問題出現(xiàn)這這里，每次只生成一個request，所以 redis隊列維護的也只有一個請求
            yield Request(url=next_page_link)

解決辦法

• 采用廣度優(yōu)先的模式進行抓取
• 獲取爬取的總頁數(shù)，進行提取總頁碼，生成請求連接
• 獲取待爬取的所有頁面的請求，循環(huán)入redis隊列,可解決這個問題
• 代碼如下

        if self.already_push_all_request is not True:
            page_list_html_a = response.xpath('//div[@class="grid-8"]/div[@class="navigation margin-20"]/a[@class="page-numbers"]')
            last_page_list_html_a = page_list_html_a[-1]
            last_page_index = last_page_list_html_a.xpath('text()').extract_first()
            print(type(last_page_index))
            last_index_number = int(last_page_index)
            print last_index_number
            format_url = 'http://python.jobbole.com/all-posts/page/{0}/'
            next_page_index = 2
            while next_page_index <= last_index_number:
                next_page_request_url = format_url.format(next_page_index)
                print(' will lpush to redis and url is %s'%next_page_request_url)
                yield Request(url=next_page_request_url)
                next_page_index += 1
            self.already_push_all_request = True