首先聲明，這是非商業(yè)目的、純個人興趣的學(xué)習(xí)。python新手，問題如果幼稚請見諒。
我想爬的這個網(wǎng)頁，是用ajax動態(tài)加載，發(fā)送post請求到第三方后臺（SaaS），驗證后以json格式返回內(nèi)容，然后顯示在網(wǎng)頁上。
因為缺少appid/appkey，我無法直接用requests庫發(fā)送post請求拿到內(nèi)容，直接抓取的結(jié)果是"Unauthorized"。
Appid/Appkey我肯定是拿不到了，這是不是就是說通過requests請求這條路行不通了？
<<< 修改：這里的假設(shè)是錯誤的囧，具體詳見回答。有ajax的網(wǎng)頁，還是用requests直接請求數(shù)據(jù)源最快。
另外，我試過用selenium模擬瀏覽器直接加載頁面，但是要等頁面加載完所有ajax基本上需要個十來秒，效率極為低下。
而且這是一個single-page的條目頁面，每頁顯示20條信息，點擊“下一頁”后不會跳轉(zhuǎn)，而是又一次請求后臺刷新內(nèi)容，因此只能單線程的加載 -> 等10秒 -> 拿內(nèi)容 -> 點下一頁 -> 加載 -> 等10秒 ……
想知道有沒有什么比較快速的方法爬到想要的數(shù)據(jù)呢？
[自問自答] 我后來發(fā)現(xiàn)了，用chrome dev tool其實可以看到頁面本身請求數(shù)據(jù)時發(fā)送的appid/appkey，不過不是以這樣的param name呈現(xiàn)出來，所以一開始被我忽視了。實際上只要把這兩個鍵值對加進header里，并加上chrome里看得到的payload信息，用requests發(fā)送POST請求，就可以直接調(diào)取數(shù)據(jù)庫信息了。
一般來講，selenium跟requests的最大區(qū)別就是幫你解析并執(zhí)行html,css,js等（耗時長）。
其中解析js是你最希望的，如果你可以手動解析js填上Appid/Appkey，完全可以用requests完成。
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景，秉承“教育改變生活”的發(fā)展理念，致力于培養(yǎng)中國IT技能型緊缺人才，是大數(shù)據(jù)專業(yè)的國家
達(dá)內(nèi)教育集團成立于2002年，是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機構(gòu)，是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市，融資1
北大課工場是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合／校企合作的政策，積極推進“中國制造2025”，實現(xiàn)中華民族偉大復(fù)興的升級產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰，中國職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師，曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作，曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術(shù)， 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗，技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3；Javascript及主流js庫，具有快速界面開發(fā)的能力，對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問，美國Dachieve 系統(tǒng)架構(gòu)師，美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。
掃碼關(guān)注鍍金池微信號
手機訂課，優(yōu)惠多多
