shadowsocks 客戶端會(huì)在本地 1080 端口監(jiān)聽 socks5 協(xié)議的流量。
所以正確的代理配置是:
proxies = {
'http': 'socks5://127.0.0.1:1080',
'https': 'socks5://127.0.0.1:1080'
}
另外,requests 比 urllib 更優(yōu)雅
pip install requests[socks]
import requests
proxies = {
'http': 'socks5://127.0.0.1:1080',
'https': 'socks5://127.0.0.1:1080'
}
requests.get('http://httpbin.org/get', proxies=proxies).content最后那個(gè)}后面跟著換行吧
import os
key_end = '}' + os.linesep
至于第二個(gè)問題,格式是在的啊print result[0]試試
客戶端可以實(shí)現(xiàn)監(jiān)聽下載完成的回調(diào),啟動(dòng)下載的東西,因?yàn)榭蛻舳擞形募Y源的權(quán)限
網(wǎng)頁(yè)不行的,因?yàn)閣eb沒有直接的文件資源的權(quán)限的(安全方面考慮,沒有人希望一個(gè)網(wǎng)頁(yè)可以讀取自己手機(jī)的文件)
sudo apt-get install python3.6-tk
QueryAction.Gopage 看下這個(gè)函數(shù)怎么運(yùn)行 模擬下,
簡(jiǎn)單的就看下network 看下規(guī)律
你這要是列表的話,為什么里面內(nèi)容沒有引號(hào)?
用正則表達(dá)式提取。
1.可能有關(guān)于瀏覽器指紋的js算法
2.chrome驅(qū)動(dòng)特征值
現(xiàn)在的技術(shù)發(fā)展太快了,切換IP已經(jīng)不是殺手锏了,各種特征值和指紋不需要匹配IP就可以ban你
有兩種方法:
第一種:每一個(gè)app下都有有static/templates 可以存放這里
第二種:存放在最外面的static/templates 也可以
首先我想提一下VS Code自帶的終端沒有這個(gè)問題;
對(duì)于你的問題我建議不要在sublimeREPL里運(yùn)行持續(xù)性的任務(wù)(網(wǎng)站),可以考慮open terminal(可能是其他的名字)的插件直接打開shell(cmd)
我看你的系統(tǒng)應(yīng)該是裝了兩個(gè)python版本,你那個(gè)pip是不是python2的?
另外玩tensorflow建議conda環(huán)境
python 2.7里print是語(yǔ)句:
print "hello world"
python 3.x里print是函數(shù):
print("hello world")SQL 操作用字符串拼接不是一個(gè)好的習(xí)慣, 試試用參數(shù)化查詢:
find_binary=pymysql.Binary(img_data)
add_row = """INSERT INTO IMGS(ID,IMG,編號(hào),DATAIMG) VALUES($s, %s, %s, %s)"""
cursor.execute(add_row, (7, 'K1', 'NO.', find_binary))不建議使用 urllib 庫(kù),推薦 requests 庫(kù)
import requests
response = requests.get('https://www.baidu.com/')
response.encoding = 'utf-8'
print(response.text)必須得到css,否則沒辦法,這個(gè)很麻煩,因?yàn)榫退愕玫絚ss,你也不能把元素和css匹配上,因?yàn)槟愕慕馕銎鞑皇莣ebview,用selenium好一點(diǎn),但也比較麻煩,你可以嘗試獲取元素的inline style,class style,去匹配是否fixed。
試試下面這段代碼,應(yīng)該是可行的。
from bs4 import BeautifulSoup
with open("縣(中國(guó)縣級(jí)行政區(qū))_百度百科.html") as f:
soup = BeautifulSoup(f, 'html.parser')
a_s = soup.find_all('a')
for a in a_s:
if a.parent.name=="td":
print(a.get_text())您好,請(qǐng)問下這個(gè)問題您解決了嗎?我也遇到了這種需求,能否一起探討下?感謝。
文檔上這么舉例的:
$ python -m timeit -s 'text = "sample string"; char = "g"' 'char in text'
10000000 loops, best of 3: 0.0877 usec per loop
$ python -m timeit -s 'text = "sample string"; char = "g"' 'text.find(char)'
1000000 loops, best of 3: 0.342 usec per loop
也就是說,通過命令行方式執(zhí)行,timeit是自動(dòng)判斷該循環(huán)多少次,我想應(yīng)該是單次耗時(shí)越短,執(zhí)行次數(shù)就多一些。
Digest翻譯過來是摘要,不是加密. 既然是摘要,也就不能解密的, 就象你不能用論文摘要還原整個(gè)論文一樣.
摘要的作用不是加密, 而是防篡改. 至于很多摘要算法用于密碼變形,則是完全的另一回事,不要看成是加密.
你的代碼有幾個(gè)地方有問題,按照下面的代碼再試試:
#-- conding:utf-8 --
import requests
import re
import json
url_list_all = ['http://finance.eastmoney.com/news/cgnjj_{}.html'.format(pages) for pages in range(1,3)] #減少了頁(yè)碼,測(cè)試的快點(diǎn)
def content(url):
req = requests.get(url,timeout = 1000)
print('content_ulr:',url)
req.encoding = 'utf-8'
content_source = req.text
title = re.search('<h1>(.*?)</h1>',content_source,re.S).group(1)
source_time = re.search('<div class="time">(.*?)</div>', content_source, re.S).group(1)
source = re.search('<span>來源:</span>(.*?)</div>', content_source, re.S).group(1)
content_body = re.search('<!--文章主體-->(.*?)<!--責(zé)任編輯-->', content_source, re.S).group(1)
content_content = {'title:': title, 'time:': source_time, 'source:': source, 'content:': content_body}
return content_content
def file_save(content):
with open('./east.txt','a') as f:
f.write(str(content))
for url in url_list_all:
req = requests.get(url)
req.encoding = 'utf-8'
list_content = req.text
content_url = re.findall('<p class="title">.*?<a href="(.*?)" target="_blank">',list_content,re.S)
for u in content_url:
cnt = content(u)
file_save(cnt)
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國(guó)家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國(guó)制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問,美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。