错误:requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,))
(1)随机切换User-Agent:
user_agent_list = ["Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; WOW64) Gecko/20100101 Firefox/61.0",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
headers = {'User-Agent': random.choice(user_agent_list)}
(2)访问频率的设置:
time.sleep(6) #测试一下,如果是与访问频率有关可设置时间长一点
(3)使用代理ip:
self.proxies = {
"http": ip,
"https":ip,
错误: urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
一个循环内,执行request大约240次后,就报错误,原因是服务器把这个当成了攻击
解决方法:
头部需要引入
import time
在调用request的循环内,加入方法
time.sleep(0.5)
幸好数据量不大,0.5秒的间隔尚且忍受。问题解决
错误:requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,))解决方法(1)随机切换User-Agent: user_agent_list = ["Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Geck
在爬虫中报如下的错误:
requests.
exceptions.
ConnectionError: (‘
Connection aborted.’,
RemoteDisconnected(‘
Remote end clos
ed connection without response’,))
发现该错误是因为如下:
1、http的连接数超过最大限制,默认的情况下连接是Keep-alive的,所以这就导致了服务器保持了太多连接而不能再新建连接。
2、ip被封
3、程序请求速度过快。
解决办法如下:
第一种
方法:
1. 环境及设备:mac, xcode , iphonex
2. 最近出现一个让人费解的问题,airtest 没跑多长时间,服务就断掉,而且总是报“requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(54, 'Connection reset by peer'))” 这样的错。
3....
ip._vendor.urllib3.exceptions.ProtocolError: ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)",
ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))
安装第三方库的时候总是会遇到这个错误,这是因为时间超时,导致下载导入失败。
这个时候,我们只需要
在爬虫中报如下的错误:
requests.
exceptions.
ConnectionError: (‘
Connection aborted.’,
RemoteDisconnected(‘
Remote end clos
ed connection without response’,))
解决方法
(1)随机切换User-Agent:
user_agent_list = ["Mo...
Traceback (most recent call last):
File "<input>", line 1, in <module>
File "D:\APP\pycharm\PyCharm 2018.2.1\helpers\pydev\_pydev_bundle\pydev_umd.py", line 194, in runfile
pydev_...