在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問(wèn)答/Python  Linux  數(shù)據(jù)庫(kù)/ 問(wèn)大家一個(gè)python爬蟲和大數(shù)據(jù)的問(wèn)題

問(wèn)大家一個(gè)python爬蟲和大數(shù)據(jù)的問(wèn)題

我的畢業(yè)設(shè)計(jì)是做一個(gè)爬取豆瓣網(wǎng)站的系統(tǒng)，我的同學(xué)的畢業(yè)設(shè)計(jì)是大數(shù)據(jù)方面的題目。我們的畢設(shè)老師要求我用爬蟲爬完數(shù)據(jù)后存儲(chǔ)，然后做一個(gè)接口把數(shù)據(jù)傳給同學(xué)（數(shù)據(jù)從我的電腦傳到他的電腦上），他再用他搭建的平臺(tái)處理數(shù)據(jù)再展示出來(lái)?，F(xiàn)在我的爬蟲系統(tǒng)做好了，他的平臺(tái)也搭建好了。請(qǐng)問(wèn)這之間傳數(shù)據(jù)的接口怎么設(shè)計(jì)，要掌握哪些知識(shí)

回答
編輯回答
嘟尛嘴

1、你的數(shù)據(jù)是什么量級(jí)，是MB，GB，PB？
2、你數(shù)據(jù)爬下來(lái)的存儲(chǔ)方式，是存在文件里還是還是存放到數(shù)據(jù)庫(kù)
3、你準(zhǔn)備以什么方式把數(shù)據(jù)開放給對(duì)方，提供web api，還是提供ftp，還是提供數(shù)據(jù)庫(kù)訪問(wèn)權(quán)限
你思考過(guò)這些問(wèn)題，自然就知道該怎么做和該去研究哪些資料了

2018年5月5日 20:03
編輯回答
蝶戀花

你的爬蟲是winform項(xiàng)目吧?？梢栽僮鲆粋€(gè)web項(xiàng)目，你同學(xué)需要什么接口，你就寫個(gè)相應(yīng)web api接口傳json格式數(shù)據(jù)給他。
如果你想做在爬蟲winform項(xiàng)目里，你這邊可以寫一個(gè)socket服務(wù)端，你同學(xué)那邊寫個(gè)socket客戶端來(lái)請(qǐng)求數(shù)據(jù)。不過(guò)不推薦把服務(wù)端寫在winform里，推薦用剛才說(shuō)的web api，其次推薦webservice等。

2018年3月2日 10:32
編輯回答
撿肥皂

其實(shí)可以設(shè)計(jì)好數(shù)據(jù)庫(kù)結(jié)構(gòu)，你這邊存，他那邊讀就好了，mysql這種關(guān)系數(shù)據(jù)庫(kù)和mongodb這類的文檔數(shù)據(jù)庫(kù)都可以。

2017年5月23日 23:31
編輯回答
孤客

我跟同事也做過(guò)這樣的配合，我這邊爬完數(shù)據(jù)后直接把數(shù)據(jù)存到mysql,他那邊直接查數(shù)據(jù)就好，存數(shù)據(jù)庫(kù)的表結(jié)構(gòu)什么的是我們事先商量好的。

2017年7月9日 14:18
編輯回答
尛曖昧

接口數(shù)據(jù)格式根據(jù)對(duì)方平臺(tái)的需求，就跟寫app的接口差不多，給個(gè)json數(shù)據(jù)

2018年4月15日 03:24