應(yīng)該是對方網(wǎng)站做的反爬蟲,改了圖片的地址
session = requests.Session()
session.headers = headers
def crawl(url):
html = session.get(url).content
pat1 = '(http://pic.qiantucdn.com/.+?0)"'
images_list = re.findall(pat1, html)
print images_list
crawl(url)
# ['http://pic.qiantucdn.com/58pic/28/29/87/73R58PICNSW.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/36/60/29J58PICKMe.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/2018/01/29/22/29466c2746dc7858651515e0654709bb.jpeg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/25/19/86R58PICmz5.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/22/98/07m58PICNQj.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/29/02/81e58PIC6U2.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/25/59/46m58PICjni.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/25/72/69u58PICFYr.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/34/76/67X58PIC3RF.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/22/00/01Z58PICWH2.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/34/91/89i58PICQEB.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/28/39/54N58PICp3h.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/36/11/43a58PICX9P.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/32/56/40r58PICxRD.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/23/69/02j58PICkyM.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/32/04/21V58PIC9Sc.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/29/02/28w58PIC8tf.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/22/14/96t58PICSw3.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/24/36/14X58PICdY9.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/28/58/97M58PICJgr.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/31/23/58658PICPrx.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/31/66/58R58PICvjW.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/02/20F58PICQD8.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/34/62/48u58PICtcA.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/32/48/21k58PIC56I.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/29/34/46658PICIFi.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/23/76758PICJGK.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/33/41/66P58PICKZi.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/34/73/20458PICEQw.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/23/21/57G58PIC3WB.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/33/41/24p58PICNmP.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/64/03c58PICQbX.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/36/72/93y58PICEid.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/99/82758PICN8v.JPG!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/18/76c58PIC4CB.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/34/97/62t58PIC3sT.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/69/82S58PICweA.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/35/09/87K58PICM2J.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/36/07/95J58PICjFn.jpg!/fw/300/clip/0x400a0a0', 'http://pic.qiantucdn.com/58pic/28/27/39/58558PICXAz.jpg!/fw/300/clip/0x400a0a0']主要分為兩種日志,錯誤日志和分析日志
錯誤由各個模塊拋出,在最上層統(tǒng)一處理錯誤,并輸出錯誤信息到錯誤日志
分析日志一般用于統(tǒng)計,一般一次請求就一個,包含和這次請求所有相關(guān)的信息,其中也包括一些統(tǒng)計指標(biāo)
使用 github.com/sirupsen/logrus + github.com/sohlich/elogrus 收集日志到 es,基于 es 作統(tǒng)計分析,以及監(jiān)控報警
寫demo也只是反復(fù)的使用基礎(chǔ)知識,過段時間不用也就忘了。最好的辦法還是要參與到有一定難度的開發(fā)中去,比如去Github拉幾個目前能看懂但是比較難啃的項目,先看再改,實(shí)現(xiàn)一點(diǎn)自己的功能進(jìn)去,完成一個以后你會發(fā)現(xiàn)會有明細(xì)提升。
4L的答案應(yīng)該是正解,在nginx配置文件里面,location塊下加上
`
proxy_set_header Host $host;
proxy_set_header X_Real_IP $remote_addr;
`
一、分析
找不到包應(yīng)該為路徑問題,項目能正常啟動,maven編譯不過,猜測所打jar包出現(xiàn)的問題
二、原因
參考:maven mulit-module dependency package not found
問題出現(xiàn)在maven spring boot打包插件上
1.spring boot packaging plugin
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
打包后所有的包和類都放到了BOOT-INF文件夾中
2.maven packaging plugin
build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
</plugin>
</plugins>
</build>
包在根路徑下
三、解決方案
替換build插件為maven打包插件即可
把LSTM層的return_sequences改為False即可正確運(yùn)行
Caused by: java.lang.ClassCastException: org.apache.xerces.jaxp.DocumentBuilderFactoryImpl cannot be cast to javax.xml.parsers.DocumentBuilderFactory。。。類轉(zhuǎn)換錯誤。
檢查一下是否少了xml-apis.jar這個包,因為JDK有DocumentBuilderFactory這個類,xml-apis.jar也有這個類。
實(shí)現(xiàn)不一樣
FactoryFinder.find("javax.xml.parsers.DocumentBuilderFactory", "org.apache.xerces.jaxp.DocumentBuilderFactoryImpl");
和
FactoryFinder.find(
/* The default property name according to the JAXP spec */
DocumentBuilderFactory.class, // "javax.xml.parsers.DocumentBuilderFactory"
/* The fallback implementation class name */
"com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl");1:使用數(shù)據(jù)庫的唯一索引。
2:分布式鎖。
請參考以下 python 代碼實(shí)現(xiàn)
# -*- coding: utf-8 -*-
"""
author: 李毅
"""
from unittest import TestCase
def permutation(array, nsum):
''' 假設(shè)數(shù)組元素不重復(fù)。 '''
# 排序(升序)
sarray = sorted(array)
# 找出最大下標(biāo)
max_idx = len(sarray)
for i, e in enumerate(sarray):
if e > nsum:
max_idx = i
break
# 窮舉
result = []
for i in range(max_idx):
for j in range(i, max_idx):
for k in range(j, max_idx):
if i == j and j == k:
continue
if sarray[i] + sarray[j] + sarray[k] == nsum:
result.append((sarray[i], sarray[j], sarray[k]))
return result
class Test(TestCase):
""" 單元測試 """
def test_permutation(self):
self.assertEqual(
permutation(range(10), 3),
[(0, 0, 3), (0, 1, 2)])
self.assertEqual(
permutation(range(10), 2),
[(0, 0, 2), (0, 1, 1)])
# 邊界值
self.assertEqual(
permutation(range(3), 3),
[(0, 1, 2)])
self.assertEqual(
permutation(range(1, 4), 4),
[(1, 1, 2)])電腦開wifi熱點(diǎn),手機(jī)連電腦熱點(diǎn),然后用wireshark抓手機(jī)連的網(wǎng)卡
百度搜索引擎提交入口:http://zhanzhang.baidu.com/si...
其他搜索引擎入口:
搜狗URL提交:http://zhanzhang.sogou.com/in...
360URL提交:http://zhanzhang.so.com/?m=Pa...
360搜索引擎登錄入口:http://info.so.#/site_su...
Google網(wǎng)址提交入口:https://www.google.com/webmas...
搜狗網(wǎng)站收錄提交入口:http://www.sogou.com/feedback...
SOSO搜搜網(wǎng)站收錄提交入口:http://help.soso.com/help_web...
win路徑分隔符是\,*nix路徑分隔符是/,你統(tǒng)一寫/就可以了
jenkins可以打git上的不同branch啊,branch可以作為jenkins project的參數(shù)傳入的,干嘛要重新開一個git repo和jenkins project呢?沒有理解 !另外前端同事說的,“會導(dǎo)致一進(jìn)頁面要加載全站的內(nèi)容,速度很慢” 也沒有理解
你是在Mapper類上加了一個@Component,這個注解是聲明組件,往往是不明確這個組件在mvc中哪一層才寬泛的使用@Component來交給spring進(jìn)行管理。
但mybatis中的bean(UserMapper),屬于mapper層,應(yīng)該首先需要經(jīng)過mybatis作處理才可以。所以要首先把mapper文件加載到mybatis中,由mybatis轉(zhuǎn)換或加載成spring能使用的bean
正確的做法應(yīng)該是在DemoApplication類上加上@MapperScan("com.example.demo.mybatis")
如有錯誤請指出。
1.X%y結(jié)果為X除以Y的余數(shù),余數(shù)<=除數(shù),而余數(shù)>k,那么y肯定>k
2.count += n/y(y-k) 等價于 count = count + n/y(y-k)
3.和2同理
限時保存用戶的登錄信息,除了cookie和session,localStorage也可以做到,localStorage用于持久化的存儲;;cookie字符長度有限制,并且不安全;session依賴后端;前端一般用localStorage保存用戶信息,而不用每次后臺判斷或前端請求去判斷
存數(shù)據(jù):
localStorage.setItem('key',value)
取數(shù)據(jù)
localStorage.getItem('key')北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。