在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

先笛卡爾積s1['product_name']和s2['brand_name']，設(shè)為結(jié)果為df則：

df[df['brand_name'].isin('product_name')]

為結(jié)果。這樣子可能會調(diào)用內(nèi)部優(yōu)化快一點(diǎn)，可以試試。

具體如何在pandas里做笛卡爾積可以參考這個答案。

1. 點(diǎn)擊 Fix 按鈕，
2. 成功后，點(diǎn)擊Apply
3. 重啟pycharm

python源碼下載完make完之后就有了

ax.set_ylim(0,6)
ax.text(0,-1,r'$\int_{a}^-x^2+4$dx',size=20,family='fantasy',ha='center')

ax.set_xlim(-4,4)
ax.set_ylim(-4,5)

a = -2
b = 4

min(x[a<=x]) = -2, min(x[x<=b]) = 3

ax.fill_between(x,y,where=(a<=x)&(x<=b))

我一般用scp或者git傳輸文件
如果需要自動輸密碼可以用pexpect
如果是自動化運(yùn)維可以用fabric

昨天又試了一遍
到第二頁的頁面中F12之后發(fā)現(xiàn)爬取規(guī)則變了
一頓無語之后，重新定義了第二頁之后的規(guī)則，然后問題解決了

按理說不會出現(xiàn)這種情況的。每次請求，后端生成的session信息都會保存在django_session表里，然后把session key放到cookie里返回給前端。 前端再次請求的時(shí)候帶上這個session，去數(shù)據(jù)庫里查詢相應(yīng)的信息。
../python2.7/site-packages/django/contrib/sessions/middleware.py
你看看呢

如果有精力就研究一下那些不規(guī)則的參數(shù)值怎么生成的，你也可以照著寫一份，如果沒有精力就用selenium來解決吧

下面是我寫的python，我編程比較差。。。求更好的方法

import itertools
def main():
    list1 = ['A', 'B', 'C', 'D','E']
    list2 = [1,2,3,4]
    result = itertools.permutations(list1, 4)
    newlist = []
    for item in result:
        newlist.append(list(item))
    newnewlist = []
    for item in newlist:
        item[0] = [list2[0],item[0]]
        item[1] = [list2[1], item[1]]
        item[2] = [list2[2], item[2]]
        item[3] = [list2[3], item[3]]
    for item in newlist:
        print(item)
if __name__ == '__main__':
    main()

你用 const content = document.createElement('div');

    content.contentEditable = true;
    // 簡易markdown
    let timer;
    content.addEventListener('input', (event) => {
        clearTimeout(timer);

        timer = setTimeout(() => {
            // 打印你的html文本 
            console.log(String.fromCharCode(event.target.innerHTML));
        }, 500);
        event.preventDefault();
    }, false);

把你不需要的變量設(shè)成None，把不需要的cell刪掉，import gc; gc.collect()

可以放一下代碼，還有文件位置關(guān)系之類的出來看看~

這種問題，其實(shí)自己百度一搜索就能查到的。

網(wǎng)絡(luò)問題，我在測試服務(wù)器上跑python腳本就沒有這個問題了

可能是超時(shí)，可以設(shè)置一下socket的超時(shí)時(shí)間。如果不設(shè)置超時(shí)，那么是默認(rèn)時(shí)間，需要等很久。
代碼如下：

# 單位為秒
timeout = 2
socket.setdefaulttimeout(timeout)

另外，可以加入except異常做超時(shí)處理。

except socket.timeout:

詳見Python爬蟲之urllib庫—進(jìn)階篇，希望幫到樓主。

crontab 的環(huán)境變量和我們的賬號都不一樣, 和 root 的環(huán)境變量也不一樣.
類似普通用戶會先加載 ~/.bashrc 或者 /etc/profile, crontab 則會在運(yùn)行時(shí)加載 /etc/crontab 導(dǎo)入其環(huán)境變量.
因此不妨看看 scrapy 這條命令是否被加入了 crontab 的運(yùn)行環(huán)境變量里: /etc/crontab .

其實(shí)最簡單的辦法, 是在 crontab 里執(zhí)行定時(shí)任務(wù)時(shí), 盡量用絕對路徑:

2 2 *** cd /root/EIT/crawler/EIT && /path/to/scrapy crawl test

如果不知道 scrapy 這條命令被放在哪里了, 可以執(zhí)行如下兩條命令來找到這個路徑:

whereis scrapy
which scrapy

第一個問題：是的
第二個問題：官網(wǎng)上有提示。
第三個問題：比如裝java。官網(wǎng)下要配環(huán)境。brew不用

具體內(nèi)容樣例有沒有，基本思路可以用字符串相關(guān)操作比如replace或者正則實(shí)現(xiàn)

python 3.5環(huán)境 把chromedriver的路徑改成自己的就可以運(yùn)行了

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait

chrome_opt = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images":2}
chrome_opt.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(executable_path="E:\selenium\chromedriver.exe", chrome_options=chrome_opt)
browser.set_window_position(-10, 0)
pageNum = 1
countNum = 1
while True:

print("\n當(dāng)前頁數(shù)：%d"%pageNum)
browser.get("http://app2.sfda.gov.cn/datasearchp/gzcxSearch.do?page=%d&searchcx=&optionType=V1&paramter0=null&paramter1=null&paramter2=null&formRender=cx"%pageNum)
browser.execute_script("var q=document.documentElement.scrollTop=270")
allProduct = WebDriverWait(browser, 10).until(lambda x: x.find_elements_by_xpath('/html/body/center/table[4]/tbody/tr[2]/td/center/table/tbody/tr[3]/td/table[1]/tbody/tr'))
for product in allProduct:
    if (product.get_attribute("name") != None):
        cpmc = WebDriverWait(product, 10).until(lambda x: x.find_element_by_xpath('./td[1]')).text
        gcyp = WebDriverWait(product, 10).until(lambda x: x.find_element_by_xpath('./td[2]/table/tbody/tr/td[2]/table/tbody/tr/td[2]/font')).text
        jkyp = WebDriverWait(product, 10).until(lambda x: x.find_element_by_xpath('./td[2]/table/tbody/tr/td[4]/table/tbody/tr/td[2]/font')).text
        ypgg = WebDriverWait(product, 10).until(lambda x: x.find_element_by_xpath('./td[2]/table/tbody/tr/td[6]/table/tbody/tr/td[2]/font')).text
        print("編號：%s, 產(chǎn)品名稱：%s, 國產(chǎn)藥品：%s, 進(jìn)口藥品：%s, 藥品廣告：%s"%(countNum, cpmc, gcyp, jkyp, ypgg))
        countNum += 1
if (len(allProduct) != 30) : break
pageNum += 1

Python只在指定的目錄找依賴庫。Pymongo所在目錄應(yīng)該要在Windows環(huán)境變量PYTHONPATH里面，或者通過

sys.path.append("c:/...")

之后再import才能找到。