自己寫了個程序抓取weixin.sogou.com的數(shù)據(jù),時不時就出現(xiàn)驗證碼。
但是,當我使用瀏覽器打開weixin.sogou.com的時候,并沒有出現(xiàn)驗證碼。
難道搜狗不是根據(jù)IP來判斷的嗎?
代碼:
def __weixin_search(self, keyword, cur_page, start_date, end_date, timeout=30):
html = None
while True:
try:
if self.__cookie is None:
self.__set_cookie(timeout=timeout)
if isinstance(keyword, types.UnicodeType):
keyword = keyword.encode('utf-8')
url = "http://weixin.sogou.com/weixin?type=2&s_from=input&ie=utf8&_sug_=n&_sug_type_=&query="
url += urllib2.quote(keyword)
headers = {
"User-Agent": random.choice(USER_AGENTS),# 隨機
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.8",
"Accept-Encoding": "gzip, deflate, sdch",
"DNT": "1",
"Connection": "keep-alive",
"Cookie": self.__cookie
}
r = requests.get(url=url, headers=headers, timeout=timeout)
html = r.text.encode('ISO-8859-1')
if html is None or html.find(u'seccodeInput') is not -1:
# 判斷是否出現(xiàn)驗證碼,出現(xiàn)的時候,有個切換IP的函數(shù)會執(zhí)行
self.__cookie = None
time.sleep(1)
else:
t = HTMLParser.HTMLParser()
return t.unescape(html)
except Exception as ex:
#print_msg(msg=traceback.format_exc(), save_to_log=True)
pass北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達內(nèi)教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構,是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學校辦產(chǎn)業(yè)為響應國家深化產(chǎn)教融合/校企合作的政策,積極推進“中國制造2025”,實現(xiàn)中華民族偉大復興的升級產(chǎn)業(yè)鏈。利用北京大學優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓領域的先行者
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術, 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構師,美國AngelEngineers Inc. 系統(tǒng)架構師。