1.最近再做爬取攜程的國際機票，之前沒寫過爬蟲，邊看邊學(xué)，發(fā)現(xiàn)網(wǎng)上有很多爬取攜程國內(nèi)機票的教程，爬取國際機票的很少。
2.因為攜程是異步加載的并且參數(shù)很多，還有動態(tài)的參數(shù)，看著比較麻煩。所以我現(xiàn)在是用的 selenium來模擬瀏覽器抓取的。但是效率又太低。大家一般抓取這樣的網(wǎng)站采取什么技術(shù)或方法，麻煩有了解這方面的指點一下
@可好了 謝謝你的回復(fù)，我已經(jīng)把需要的飛機場代碼給爬取到了我是使用的這個地址拼裝的http://flights.ctrip.com/inte... ，現(xiàn)在的主要是效率，太低。模擬一次請求，需要大概20秒的時間，才能把整個航線的航班數(shù)據(jù)爬取下來。 多線程的跑selenium 有很多問題。今天在看一下
剛看了下攜程的網(wǎng)址.
這個url是北京(BJS)到布拉格(PRG) 2018-04-11 當(dāng)天的全部機票.
http://flights.ctrip.com/inte...
這個url是北京(BJS)到雅典(ATH) 2018-04-03 當(dāng)天的全部機票.
http://flights.ctrip.com/inte...
兩個url只是城市的編號不同. 如果想獲取北京到世界各地的機票信息. 只需要拼接下DCity就可以獲取到
想獲取 2018-04-012 的機票, 就把日期改一下.
這樣就獲取到了url.然后模擬發(fā)起請求,獲取請求頁面的Document樹,在去解析里面的數(shù)據(jù).
感覺還可以.并不是特別難. 難點就是獲取各個城市的標(biāo)號.
另外如果攜程有反爬蟲,可以用代理ip.這樣成功率會高很多.不會被封.
我今天也遇到這個問題了，模擬參數(shù)請求返回為空
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景，秉承“教育改變生活”的發(fā)展理念，致力于培養(yǎng)中國IT技能型緊缺人才，是大數(shù)據(jù)專業(yè)的國家
達內(nèi)教育集團成立于2002年，是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機構(gòu)，是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市，融資1
北大課工場是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合／校企合作的政策，積極推進“中國制造2025”，實現(xiàn)中華民族偉大復(fù)興的升級產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰，中國職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師，曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作，曾創(chuàng)辦藍懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負責(zé)iOS教學(xué)及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術(shù)， 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗，技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3；Javascript及主流js庫，具有快速界面開發(fā)的能力，對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問，美國Dachieve 系統(tǒng)架構(gòu)師，美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。
掃碼關(guān)注鍍金池微信號
手機訂課，優(yōu)惠多多
