提供同樣的header訪問，使用requests就可以很簡單的把頁面下載下來，但是pyspider就不行，哪怕是開了fetch_type="js"也不可以，會報錯（URL>1024）。
雖然我明白哪怕開了，其實最后結(jié)果還是爬不下來的。因為phantomjs現(xiàn)在一點也靠不住。哪怕三分鐘restart一次，該fetch_error還是fetch_error。
有點難過。
這個工具給我的使用感覺，爬取效率高，規(guī)則設(shè)定方便，靈活多變。但是可能更適合爬取靜態(tài)的新聞頁面。
根本沒法打架。