在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問答/數(shù)據分析&挖掘  Python/ python3爬蟲重復返回第一頁

python3爬蟲重復返回第一頁

預爬取“i春秋”課程欄目內 16頁中的所有課程名稱。
網頁采取的是POST。
簡單地用requests模塊寫出了文件,然而返回結果全是i春秋的第一頁的課程名稱。
請問是我代碼問題還是i春秋的防爬機制比較強?
希望大佬們能給點指導,代碼我就貼下面了。

import requests
import json

url_begining = 'https://www.ichunqiu.com/courses/ajaxCourses?IsExp=&courseDiffcuty=&courseTag=&orderDirection=&orderField=&pageIndex='

def request_all(url):
    print(url)
    headers = {
        
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Host':    'www.ichunqiu.com',
        'Referer': 'https://www.ichunqiu.com/courses',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:56.0) Gecko/20100101 Firefox/56.0',
        'X-Requested-With':    'XMLHttpRequest',

    }

    r = requests.get(url = url, headers = headers2)
    
    data = json.loads(r.text)

    name_long = len(data['course']['result'])

    for i in range(name_long):
        print(data['course']['result'][i]['courseName'])


for i in range(1,17):
    url = url_begining + str(i) + '&producerId=&tagType='
    request_all(url)
回答
編輯回答
近義詞

因為你的請求方法不正確,網址要求的是post請求方式,請再試一次吧

2018年2月6日 14:45