requests_html 中使用浏览器渲染js时修改headers信息
requests_html
是
requests
的作者 基于
requests
和
pyppeteer
以及一些其他网页爬虫库的整合
关于
pyppeteer
是什么就不多赘述了
requests_html
通过方法
render()
调用的
pyppeteer
与浏览器进行交互,
在
requests_html
官方文档中,并没有找到有关如何修改浏览器Headers的内容,
比如,修改user-agent
但在网上可以找到
# 创建session对象
session = requests_html.HTMLSession(browser_args=['--no-sandbox','--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3809.100 Safari/537.36"'])