一個網站版塊下有30個分類，每個分類有20個子分類，一個子分類約有30頁數據，一頁15條數據
我需要爬取所有子分類的所有分頁數據，因為程序可能會因為各種情況中斷運行，那么我應該怎么記錄已爬取的記錄呢？下次啟動自動從未爬取的記錄開始執(zhí)行。

我的想法是先把30*20個分類的分頁url爬取存起來，做個標記，1為已爬取，0為未爬取，爬蟲程序從url表中取標記為0的url執(zhí)行爬取。