最近幫一個朋友爬取某生物網(wǎng)站上的內(nèi)容，遇到了一些問題。
網(wǎng)站的url如下：

https://www.ncbi.nlm.nih.gov/...

每頁默認(rèn)顯示20條記錄

但是翻頁后

或者將記錄顯示的數(shù)量調(diào)整為500后，

鏈接發(fā)生了變化，復(fù)制該鏈接之后進入了另一個網(wǎng)頁：

爬蟲的代碼如下：
import requests
from bs4 import BeautifulSoup

base_url = 'https://www.ncbi.nlm.nih.gov/gds'
wb_data = requests.get(base_url)
soup = BeautifulSoup(wb_data.text,'lxml')

for link in soup.select('https://www.ncbi.nlm.nih.gov/...'):

url = link.get('href')
print(url)

鏈接為什么會發(fā)生這樣的變化呢？
該代碼只能爬取網(wǎng)頁的前20條信息，如果我要獲取頁面中全部的信息，代碼該做怎樣的改進呢？

?