在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/HTML5  Python/ Python3 selected選擇的網(wǎng)頁爬取

Python3 selected選擇的網(wǎng)頁爬取

大神，小白求助~~~

這個(gè)網(wǎng)址默認(rèn)selected選擇默認(rèn)是三月的，我想要十月的。怎么去拿到下拉框10年的網(wǎng)頁數(shù)據(jù)啊。

http://www.nasdaq.com/symbol/...

clipboard.png


import csv
import requests
import datetime
import urllib.parse
from bs4 import BeautifulSoup

user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
headers = {'User-Agent': user_agent}
url=r'http://www.nasdaq.com/symbol/baba/historical#.UWdnJBDMhHk'
r = requests.get(url, headers=headers, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text)
回答
編輯回答
來守候

剛學(xué)爬蟲，下面這個(gè)親測可用，代碼寫的挫請(qǐng)前輩們指教

import requests


session = requests.Session()

session.headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:55.0) Gecko/20100101 Firefox/55.0',
    'Accept-Encoding':'gzip, deflate',
    'Content-Type' :'application/json',
}
url = 'http://www.nasdaq.com/symbol/baba/historical'
data = "10y|false|BABA"
r = session.post(url ,data=data)


print(r.text)
2018年7月4日 01:15
編輯回答
陌顏

提供一個(gè)思路：你先檢查下你選擇10years的時(shí)候，瀏覽器network有沒有發(fā)出請(qǐng)求，看看請(qǐng)求到的數(shù)據(jù)。

試了一下，看到的是這樣的請(qǐng)求：

Request URL: http://www.nasdaq.com/symbol/...
Method: POST
Request Payload: 10y|false|BABA

用在線post工具請(qǐng)求試了下（Request Body的參數(shù)名用了一個(gè)空格），結(jié)果如下：

clipboard.png

clipboard.png

看來不用設(shè)置請(qǐng)求頭，用python的requests庫可以很容易實(shí)現(xiàn)這個(gè)簡單POST請(qǐng)求，

So Easy

2017年2月19日 05:36