一篇不錯(cuò)的反爬蟲(chóng)技術(shù)方案博文:https://github.com/FantasticL...
java.lang.NullPointerException
應(yīng)該是空指針異常引發(fā)的socke錯(cuò)誤,檢查賦值操作為NULL的情況
如果是我來(lái)做的話,大概采用這么個(gè)思路。首先找到關(guān)鍵信息所在位置。信息都有具體的層級(jí)結(jié)構(gòu),具體到對(duì)應(yīng)到哪個(gè)html標(biāo)簽,這個(gè)html標(biāo)簽具有什么class屬性,這么一步作用是縮小了范圍。然后查找關(guān)鍵字:比如公司名稱、手機(jī)、姓名之類(lèi)的,找到關(guān)聯(lián)的字段。最后考慮用正則輔助。
直接調(diào)用R里面的ggplot+plotly+shiny 或者你如果是用java的話可以直接寫(xiě)一個(gè)js
大哥你仔細(xì)看你的代碼,你要return的data被for循環(huán)覆蓋了,第二個(gè)代碼你用了print(),當(dāng)然每次循環(huán)只是把data打印出來(lái)了
xpath 語(yǔ)法可以實(shí)現(xiàn)你的要求,不必重造輪子。
舉個(gè)例子,定位含有類(lèi) title 的最后一個(gè) h2 元素,xpath 可以這樣
(//h2[@class="title"])[last()]
請(qǐng)注意一定要使用括號(hào),因?yàn)?[ ] 的優(yōu)先級(jí)較高。
順便提一下,在谷歌瀏覽器開(kāi)發(fā)者工具(console,按 F12 打開(kāi))中,用 $x(...) 便可執(zhí)行 xpath 查詢。
xpath 語(yǔ)法文檔, https://www.w3schools.com/xml...
price.sort((a,b) => b-a)[price.length - 1]
這個(gè)答案會(huì)改動(dòng)原有數(shù)組。
一樓的finditer方法是一個(gè)非常好的方法,它會(huì)返回一個(gè)迭代器,而不是返回所有的匹配數(shù)據(jù),這樣的好處一個(gè)是節(jié)省內(nèi)存,另一個(gè)是能逐個(gè)輸出,樓主可以參考,謝謝
推薦系統(tǒng),用戶畫(huà)像,精準(zhǔn)營(yíng)銷(xiāo),反作弊等等。
你是不是沒(méi)有import
所以你是問(wèn)為什么報(bào)錯(cuò),還是問(wèn)為什么網(wǎng)站卡嘛……
報(bào)錯(cuò)是因?yàn)轫憫?yīng)數(shù)據(jù)格式不對(duì),忽略就好了。
df[['one','two']]=df[['one','two']].replace(np.nan,'hello')
df用post提交表需要確認(rèn)服務(wù)器需要的數(shù)據(jù)項(xiàng),然后組成json對(duì)。
requests.post(url=url, data=data)
我覺(jué)得樓主說(shuō)的是data的提交。
一般用瀏覽器的開(kāi)發(fā)者工具確認(rèn)網(wǎng)頁(yè)請(qǐng)求時(shí)候的方法,cookie,請(qǐng)求頭等等
也就是說(shuō)data也可以在這里找到
模擬一次提交表的過(guò)程,就可以看到提交的參數(shù)項(xiàng)了
requests.post(headers=headers,params=json.dumps(payload),url=url)
嗯嗯嗯,用的payload。我錯(cuò)了。。。
可以去看一下二叉樹(shù)的遞歸,相信應(yīng)該有幫助
import pandas as pd
df = pd.DataFrame([['2018-3-8', 10],
['2018-3-9', 20],
['2018-3-10', 30],
['2018-3-11', 40],
['2018-3-12', 250],
['2018-3-13', 260],
['2018-3-14', 270],
['2018-3-15', 280]], columns=['日期', '數(shù)據(jù)1'])
def f(df):
return (df[2] - df[1] < 100) and df[2] > df[1] and (df[1] - df[0] < 100) and df[1] > df[0] #增長(zhǎng)大于0小于100
df[pd.rolling_apply(df, window=3, func=f)['數(shù)據(jù)1'] == True] # 滿足條件的日期(展示的是連續(xù)三天的最后一天)
判斷每個(gè)ID是否有連續(xù)3天【數(shù)據(jù)1】增長(zhǎng)都大于0小于100的日期吧。
我覺(jué)得,你沒(méi)有搞明白,什么叫“數(shù)”,什么叫“字節(jié)”吧。0xfffe7b89 這個(gè)數(shù),就是 4294867849 ,負(fù)的是 -0xfffe7b89 。
事實(shí)上,它就不是負(fù)數(shù),只是你自己“覺(jué)得”它是負(fù)數(shù)。
當(dāng)某一行所有值都不大于7時(shí),walks[hits7] >= 7在那一行返回全部是False.
對(duì)np.argmax函數(shù)來(lái)說(shuō),當(dāng)所有值都一樣大,也就都是最大值,默認(rèn)返回第一個(gè),也說(shuō)是0出現(xiàn)的原因。
numpy/__init__.py里有一句:
from .core import *
然后core/__init__.py里有一句:
from .numeric import *北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專(zhuān)業(yè)的國(guó)家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國(guó)制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。