許多網(wǎng)站為用戶提供一些公開(kāi)的數(shù)據(jù)。 例如，世界衛(wèi)生組織(WHO)以CSV，txt和XML文件的形式提供關(guān)于健康和醫(yī)療信息的報(bào)告。 使用R程序，我們可以從這些網(wǎng)站以編程方式提取特定的數(shù)據(jù)。 用于從網(wǎng)絡(luò)中廢棄數(shù)據(jù)的R中的一些包是 - RCurl，XML和stringr，用于連接URL，識(shí)別文件所需的鏈接并將其下載到本地環(huán)境。

安裝R包

需要以下包才能處理URL和鏈接到文件。 如果它們?cè)赗環(huán)境中不可用，則可以使用以下命令安裝它們。

install.packages("RCurl")
install.packages("XML")
install.packages("stringr")
install.packages("plyr")

準(zhǔn)備輸入數(shù)據(jù)

我們將訪問(wèn)URL天氣數(shù)據(jù)，并使用R來(lái)下載2015年天氣的CSV文件。

例子

我們將使用函數(shù)getHTMLLinks()來(lái)收集文件的URL。然后將使用函數(shù)download.file()將文件保存到本地系統(tǒng)。由于我們將為多個(gè)文件一次又一次地應(yīng)用相同的代碼，所以將創(chuàng)建一個(gè)被多次調(diào)用的函數(shù)。文件名作為參數(shù)以R列表對(duì)象的形式傳遞給此函數(shù)。

# Read the URL.
url <- "http://www.geos.ed.ac.uk/~weather/jcmb_ws/"

# Gather the html links present in the webpage.
links <- getHTMLLinks(url)

# Identify only the links which point to the JCMB 2015 files. 
filenames <- links[str_detect(links, "JCMB_2015")]

# Store the file names as a list.
filenames_list <- as.list(filenames)

# Create a function to download the files by passing the URL and filename list.
downloadcsv <- function (mainurl,filename) {
   filedetails <- str_c(mainurl,filename)
   download.file(filedetails,filename)
}

# Now apply the l_ply function and save the files into the current R working directory.
l_ply(filenames,downloadcsv,mainurl = "http://www.geos.ed.ac.uk/~weather/jcmb_ws/")

驗(yàn)證文件下載

運(yùn)行上述代碼后，可以在當(dāng)前R工作目錄中找到以下文件。

"JCMB_2015.csv" "JCMB_2015_Apr.csv" "JCMB_2015_Feb.csv" "JCMB_2015_Jan.csv"
   "JCMB_2015_Mar.csv"