scrapy中出现[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to 如何解决

相关文章推荐

小眼睛的课本 · 使用NetApp Backup and ...· 2 月前 ·

完美的硬盘 · AsyncRestTemplate ...· 1 月前 ·

刚毅的海龟 · 426 Upgrade Required ...· 4 周前 ·

睿智的弓箭 · Day 09：UI 設計工具 Figma ...· 1 周前 ·

侠义非凡的高山 · OkHttp 源码解析 | ...· 1 周前 ·

灰常酷的口罩 · 中伦律师事务所官方网站· 11 月前 ·

笑点低的松球 · 温州又一所"贵族学校"！学费高到吓人-搜狐· 11 月前 ·

有腹肌的熊猫 · 长安镇人才发展联盟成立大会成功举办-东莞市人 ...· 1 年前 ·

坐怀不乱的椰子 · 页面为什么收不到WebSocket消息，什么 ...· 2 年前 ·

酷酷的扁豆 · PANDAS DATAFRAME ...· 2 年前 ·

这期间，已经使用了 User-Agent，并且源连接直接在浏览器打开并不跳转，也使用requests测试，发现并没有被重定向。

搜索很久很久无果，然后无奈开始关注 [scrapy.downloadermiddlewares.redirect] DEBUG 这个东西难道是我开启了某个配置，检查完并没有配置与这个相关的，但是突然发现我竟然配置了一个 DEFAULT_REQUEST_HEADERS

这个是之前做百度搜索时配置的，里面指定了host，爬虫一加载就会使用这个header,结果这里指定的host跟源链接里面的不匹配，就发生了重定向。后面一注释就好了..

推荐文章

小眼睛的课本 · 使用NetApp Backup and RecoveryREST API 實現自動化

2 月前

完美的硬盘 · AsyncRestTemplate (Spring Framework 5.3.9 API)

1 月前

刚毅的海龟 · 426 Upgrade Required - HTTP | MDN

4 周前

睿智的弓箭 · Day 09：UI 設計工具 Figma 快速入門 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 周前

侠义非凡的高山 · OkHttp 源码解析 | Younger的个人站点

1 周前

灰常酷的口罩 · 中伦律师事务所官方网站

11 月前

笑点低的松球 · 温州又一所"贵族学校"！学费高到吓人-搜狐

11 月前

有腹肌的熊猫 · 长安镇人才发展联盟成立大会成功举办-东莞市人民政府门户网站

1 年前

坐怀不乱的椰子 · 页面为什么收不到WebSocket消息，什么原因？_问答-阿里云开发者社区

2 年前

酷酷的扁豆 · PANDAS DATAFRAME 怎么以某一列的值作为条件，新增一列并赋值？ - 知乎

2 年前