在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/云計(jì)算  Python/ selenium爬取網(wǎng)易云音樂個(gè)人主頁(yè)時(shí)要怎么得到加載過JavaScript的網(wǎng)

selenium爬取網(wǎng)易云音樂個(gè)人主頁(yè)時(shí)要怎么得到加載過JavaScript的網(wǎng)頁(yè)源碼?

再用selenium爬網(wǎng)易云音樂個(gè)人主頁(yè)時(shí),發(fā)現(xiàn)page_source為并沒有載JavaScript,也找不到對(duì)應(yīng)的element。但是瀏覽器里卻是顯示正常的。

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

url = 'https://music.163.com/user/home?id=360445257'
driver = webdriver.Chrome()
driver.get(url)
print('日' in driver.page_source)
driver.quit()
回答
編輯回答
未命名

page_source返回頁(yè)面源碼,而頁(yè)面源碼沒有JS,因此你在源碼里找JS是找不到的。

selenium是模擬瀏覽器完成自動(dòng)化操作的,你這里如果返回源碼無異于用requests返回靜態(tài)網(wǎng)頁(yè),沒發(fā)揮它的作用。

如果想抓取什么數(shù)據(jù),直接用selenium的動(dòng)態(tài)操作方法就行了,比如點(diǎn)擊,回車,查找等。

2017年1月14日 05:36
編輯回答
巷尾

試一下加個(gè)延時(shí)

driver.get(url)
**time.sleep(3)**
print('日' in driver.page_source)
driver.quit()
2018年2月12日 11:48