scrapy twisted.python.failure.Failure OpenSSL.SSL.Error_scrapy中error: error downloading

1、解决方案：

先检查是否加了UA，如果代码没有问题，可能是cryptography 版本问题
pip uninstall cryptography
pip install cryptography==36.0.2

2022-06-07 03:02:00 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://desk.zol.com.cn/dongman/> (failed 3 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [(‘SSL routines’, ‘’, ‘unsafe legacy renegotiation disabled’)]>]
2022-06-07 03:02:00 [scrapy.core.scraper] ERROR: Error downloading <GET https://desk.zol.com.cn/dongman/>
Traceback (most recent call last):
File “D:\soft\python3\lib\site-packages\scrapy\core\downloader\middleware.py”, line 44, in process_request
return (yield download_func(request=request, spider=spider))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [(‘SSL routines’, ‘’, ‘unsafe legacy renegotiation disabled’)]>]

解压缩后含有3.8 python 32位和64位两个版本。根据 python 版本自己选择。如果安装 scrapy 过程中出现异常 build ing ' twisted .test.raiser' extension error : Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio": https://visualstudio.microsoft.com/ download s/ 将文件至 python \Scripts目录下，然后执行 pip.exe install .\ Twisted -20.3.0-cp38-cp38-win32.whl（32位） pip.exe install .\ Twisted -20.3.0-cp38-cp38-win_amd64.whl（64位）安装成功后再次安装 scrapy 即可！

Python 是一种解释型的、面向对象的、带有动态语义的高级程序设计语言。它是由荷兰人吉多·罗萨姆于1989年发布的，第一个公开发行版发行于1991年。 Python 注重解决问题的方法，而不是语法和结构。它被广泛应用于各个领域，包括Web 开发、数据分析、人工智能、科学计算等。 Python 的优点包括：简单易学： Python 的语法简洁明了，易于理解和学习。高级特性： Python 支持面向对象编程、函数式编程等高级特性，使得代码更加模块化和可重用。广泛的库和框架： Python 拥有丰富的第三方库和框架，可以快速开发各种应用。跨平台性： Python 可以在多个操作系统上运行，包括Windows、Linux和MacOS等。强大的社区支持： Python 拥有庞大的开发者社区，提供了丰富的文档、教程和解决方案。 Python 的应用范围广泛，包括但不限于： Web 开发： Python 的Web框架（如Django和Flask）可以用于构建高效的Web应用程序。数据分析和科学计算： Python 的数据分析库（如NumPy和Pandas）和科学计算库（如SciPy）可以用于处理和分析大量数据。

问题：< twisted . python . failu re. Failu re OpenSSL . SSL . Error : [(' SSL routines', '', 'unsafe legacy renegotiation disabled')]> 自从升级了 python 3.10 有些维护的网站就爬取不了了经分析可知问题有2 1. 没有添加请求头只需要添加请求头即可 2. 版本问题...

这个错误是由于 scrapy 中的 OpenSSL 版本不兼容导致的。在新版本的 OpenSSL 中，已经移除了对 SSL v3_METHOD 的支持。为了解决这个问题，你可以尝试以下几种方法： 1. 检查你的 OpenSSL 版本，确保它是最新的版本。你可以通过运行以下命令来检查： ``` python import OpenSSL print( OpenSSL .__version__) 如果版本过旧，你可以更新 OpenSSL 。你可以使用 pip 来安装最新版本的 OpenSSL ： pip install --upgrade py openssl 2. 如果更新 OpenSSL 后仍然遇到问题，你可以尝试修改 scrapy 的配置文件 sett ing s.py。在 sett ing s.py 文件中，添加以下代码： ``` python DEFAULT_CIPHERS = 'DEFAULT:!DH' 这会禁用 DH 密钥交换算法，可能解决该错误。 3. 如果以上方法都无效，你可以考虑降低 scrapy 的版本。在使用较旧版本的 scrapy 时，可能不会出现此错误。

推荐文章

知识渊博的帽子 · scrapy twisted.python.failure.Failure OpenSSL.SSL.Error_scrapy中error: error downloading

1 周前

知识渊博的帽子 · WPF上位机自定义控件系列：步骤 WxStepBar -

1 月前

知识渊博的帽子 · 鱼和熊掌兼得：同时使用 JPA 和 Mybatis - 徐靖峰|个人博客

5 月前

知识渊博的帽子 · Anonymous user has no right to access this bucket.-问答-阿里云开发者社区-阿里云

7 月前

知识渊博的帽子 · 注解工具-AnnotationUtil · Hutool 参考文档

7 月前

知识渊博的帽子 · 开源C# WPF控件库《HandyControl》 - Dotnet9

7 月前

知识渊博的帽子 · Project Converter does not update HintPath or AssemblyFolderKey in .csproj files | DevExpress Support

8 月前

知识渊博的帽子 · GROUPBY子句的语法及示例_日志服务-阿里云帮助中心

8 月前

知识渊博的帽子 · [Solved] Chicken and egg issue with Mariadb? / Pacman & Package Upgrade Issues / Arch Linux Forums

8 月前

知识渊博的帽子 · The Basics — CVX Users' Guide

9 月前

奔跑的苦咖啡 · Android原生TabLayout使用的超全解析(看这篇就够了)_Android_脚本之家

5 小时前

发财的黄花菜 · TabLayout.Tab（自定义）点击事件 - 90丶

6 小时前

私奔的领结 · Android tablayout增加选择tab 的事件. - 星辰之力

6 小时前

暗恋学妹的投影仪 · Android TabLayout重设Tab点击事件

6 小时前

精明的茶叶 · 拦截tablayout 点击事件，不触发viewpaper滚动例如登陆检测等场景

6 小时前

傻傻的凳子 · TabLayout tab点击事件几种实现方式_tablayout 点击事件

6 小时前

温柔的野马 · XMLHttpRequest.withCredentials - Web APIs | MDN

6 小时前

知识渊博的打火机 · 如何在不解压文件夹的情况下解压缩文件夹.zip中的文件？

7 小时前

爱喝酒的手链 · Java处理ZIP文件的解决方案——Zip4J（不解压直接通过InputStream形式读取其中的文件，解决中文乱码） - 水至清明

7 小时前

卖萌的煎鸡蛋 · python不解压读取zip压缩包图片_cv2.imread读zip文件

7 小时前

1、解决方案：

2、报错详情