我正在测试使用
requests
模块来获取一个网页的内容。但是,当我看内容时,我发现它并没有得到页面的全部内容。
Here is my code:
import requests
from bs4 import BeautifulSoup
url = "https://shop.nordstrom.com/c/womens-dresses-shop?origin=topnav&cm_sp=Top%20Navigation-_-Women-_-Dresses&offset=11&page=3&top=72"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())
此外,在chrome网页浏览器上,如果我查看页面源码,我没有看到完整的内容。
有什么方法可以获得我提供的示例页面的完整内容吗?