相关文章推荐
爱吹牛的吐司  ·  javascript - ...·  8 月前    · 
性感的硬币  ·  显示隐藏过度效果（hover）_显示隐藏的过 ...·  11 月前    · 
爱听歌的咖啡豆  ·  [langchain-ChatGLM] ...·  1 年前    · 
魁梧的水煮鱼  ·  印度观察 | ...·  1 年前    · 
酒量大的香烟  ·  如何将向量类型的VectorAssemble ...·  1 年前    · 
Code  ›  Python提示[Errno 32]Broken pipe导致线程crash错误解决方法_broken pipe python socket_python 一语呢喃的博客
python pipe errno socket函数
https://blog.csdn.net/haoxun02/article/details/104418656
强悍的钥匙
1 年前

本文实例讲述了Python提示[Errno 32]Broken pipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下：

  1. 错误现象
    ThreadingHTTPServer 实现的 http 服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报 [Errno 32] Broken pipe 错，并导致处理线程 crash.
    下面先看个例子,python 版本: 2.7
    示例代码 
#!/usr/bin/env python
#!coding=utf-8
import os
import time
import socket
import threading
from BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn
class RequestHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        处理get请求
        query=self.path
        print "query: %s thread=%s" % (query, str(threading.current_thread()))
        #ret_str="<html>" + self.path + "<br>" + str(self.server) + "<br>" + str(self.responses) +  "</html>"
        ret_str="<html>" + self.path + "<br>" + str(self.server) +  "</html>"
        time.sleep(5)
            self.send_response(200)
            self.send_header('Content-type','text/html')
            self.end_headers()
            self.wfile.write(ret_str)
        except socket.error, e:
            print "socket.error : Connection broke. Aborting" + str(e)
            self.wfile._sock.close()  # close socket
            self.wfile._sock=None
            return False
        print "success prod query :%s" % (query)
        return True
#多线程处理
class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
if __name__ == '__main__':
    serveraddr = ('',9001)
    ser = ThreadingHTTPServer(serveraddr,RequestHandler)
    ser.serve_forever()
    sys.exit(0)

./thread_http_server_error.py
第1次 curl ，等待返回
[~]$curl -s 'http://10.232.41.142:9001/hello1′
<html>/hello1<br><__main__.ThreadingHTTPServer instance at 0x37483b0></html>[~]$
此时服务器端输出日志如下：
$./thread_http_server_error.py
query: /hello1 thread=
search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:02:27] “GET /hello1 HTTP/1.1″ 200 -
success prod query :/hello1

第2次 curl ，不等待返回，ctrl +C 来模拟客户端断开
 

 [~]$curl -s 'http://10.232.41.142:9001/hello2′
[~]$ ctrl+C

此时服务器端输出日志如下：
 query: /hello2 thread=
 search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:33:10] “GET /hello2 HTTP/1.1″ 200 -
 socket.error : Connection broke. Aborting[Errno 32] Broken pipe
 —————————————-
 Exception happened during processing of request from ('10.232.41.142′, 48769)
 Traceback (most recent call last):
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 582, in process_request_thread
 self.finish_request(request, client_address)
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 323, in finish_request
 self.RequestHandlerClass(request, client_address, self)
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 639, in init
 self.handle()
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 337, in handle
 self.handle_one_request()
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 326, in handle_one_request
 self.wfile.flush() #actually send the response if not already done.
 File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/socket.py”, line 303, in flush
 self._sock.sendall(view[write_offset:write_offset+buffer_size])
 AttributeError: ‘NoneType’ object has no attribute ‘sendall’
 2. 原因分析
 

“[Errno 32] Broken pipe “ 产生的原因还是比较明确的，由于 client 在服务器返回前主动断开连接，所以服务器在返回时写 socket 收到SIGPIPE报错。虽然在我们的程序中也对异常进行了处理，将handler 的 wfile._sock 对象close 掉 ，但python 的库里BaseHTTPServer.py中BaseHTTPRequestHandler 类的成员函数handle_one_request还是会直接调用 wfile.flush ，而没有判断 wfile 是否已经 close。
 复制代码代码如下:
 

def handle_one_request(self):
    """Handle a single HTTP request.
    You normally don't need to override this method; see the class
    __doc__ string for information on how to handle specific HTTP
    commands such as GET and POST.
        self.raw_requestline = self.rfile.readline(65537)
        if len(self.raw_requestline) > 65536:
            self.requestline = ''
            self.request_version = ''
            self.command = ''
            self.send_error(414)
            return
        if not self.raw_requestline:
            self.close_connection = 1
            return
        if not self.parse_request():
            # An error code has been sent, just exit
            return
        mname = 'do_' + self.command
        if not hasattr(self, mname):
            self.send_error(501, "Unsupported method (%r)" % self.command)
            return
        method = getattr(self, mname)
        method()
        #没有判断 wfile 是否已经 close 就直接调用 flush()
        self.wfile.flush() #actually send the response if not already done.
    except socket.timeout, e:
        #a read or a write timed out.  Discard this connection
        self.log_error("Request timed out: %r", e)
        self.close_connection = 1
        return

  1. 解决办法
     只要在RequestHandler重载其基类BaseHTTPRequestHandler的成员函数handle_one_reques（），在调用 wfile.flush() 前加上 wfile 是否已经 close 即可。
 

#!/usr/bin/env python
#!coding=utf-8
import os
import time
import socket
import threading
from BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn
class RequestHandler(BaseHTTPRequestHandler):
    def handle_one_request(self):
        """Handle a single HTTP request.
        You normally don't need to override this method; see the class
        __doc__ string for information on how to handle specific HTTP
        commands such as GET and POST.
            self.raw_requestline = self.rfile.readline(65537)
            if len(self.raw_requestline) > 65536:
                self.requestline = ''
                self.request_version = ''
                self.command = ''
                self.send_error(414)
                return
            if not self.raw_requestline:
                self.close_connection = 1
                return
            if not self.parse_request():
                # An error code has been sent, just exit
                return
            mname = 'do_' + self.command
            if not hasattr(self, mname):
                self.send_error(501, "Unsupported method (%r)" % self.command)
                return
            method = getattr(self, mname)
            print "before call do_Get"
            method()
            #增加 debug info 及 wfile 判断是否已经 close
            print "after call do_Get"
            if not self.wfile.closed:
                self.wfile.flush() #actually send the response if not already done.
            print "after wfile.flush()"
        except socket.timeout, e:
            #a read or a write timed out.  Discard this connection
            self.log_error("Request timed out: %r", e)
            self.close_connection = 1
            return
    def do_GET(self):
        处理get请求
        query=self.path
        print "query: %s thread=%s" % (query, str(threading.current_thread()))
        ret_str="<html>" + self.path + "<br>" + str(self.server) +  "</html>"
        time.sleep(5)
            self.send_response(200)
            self.send_header('Content-type','text/html')
            self.end_headers()         
            self.wfile.write(ret_str)
        except socket.error, e:
            print "socket.error : Connection broke. Aborting" + str(e)
            self.wfile._sock.close()
            self.wfile._sock=None
            return False
        print "success prod query :%s" % (query)
        return True
#多线程处理
class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
if __name__ == '__main__':
    serveraddr = ('',9001)
    ser = ThreadingHTTPServer(serveraddr,RequestHandler)
    ser.serve_forever()
    sys.exit(0)

运行服务
 ./thread_http_server.py
 curl ，不等待返回，ctrl +C 来模拟客户端断开
 

[~]$curl -s 'http://10.232.41.142:9001/hello2'
[~]$ ctrl+C

此时服务器端输出日志如下：
 

$./thread_http_server.pybefore call do_Get
query: /hello2 thread=<Thread(Thread-1, started 1103210816)>
search041142.sqa.cm4.tbsite.net - - [15/May/2014 15:54:09] "GET /hello2 HTTP/1.1" 200 -
socket.error : Connection broke. Aborting[Errno 32] Broken pipe
after call do_Get
after wfile.flush()

推荐我们的python学习基地，看老程序是如何学习的！从基础的python脚本、爬虫、django、数据挖掘等编程技术，工作经验，还有前辈精心为学习python的小伙伴整理零基础到项目实战的资料，！每天都有程序员定时讲解Python技术，分享一些学习的方法和需要留意的小细节

                    本文实例讲述了Python提示[Errno 32]Broken pipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下：错误现象ThreadingHTTPServer 实现的 http 服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报 [Errno 32] Broken pipe 错，并导致处理线程 crash.下面先看个例子,python 版本: 2.7...
				
在 socket 编程中常遇到的错误有我之前在这篇文章中提到的 ECONNRESET 错误，还有一种错误比较少遇见就是今天我要讲的 EPIPE 错误。在调用 send 函数时发送数据时可能会出现这种错误，这时程序会抛出如下异常：
socket.error: [Errno 32] Broken pipe
为什么会出现这种错误？先看看官方 man 2 write 文档对这个错误的描述：
EPIPE...

				
一、原因浅析
今天在写一个Python与html5 Websocket 实例，么次终止运行重新运行脚本总是提示地址已经存在并且被使用！查询相关文档才知道在socket编程中，当通过客户端向服务器端发送消息，关闭了连接后，这时如果马上再去运行服务器端程序，会提示这个错误：
复制代码 代码如下:
socket.error: [Errno 98] Address already in use
这是因为在TCP/IP终止连接的四次握手中，当最后的ACK回复发出后，有个2MSL的时间等待，MSL指一个片段在网络中最大的存活时间，这个时间一般是30秒，所以基本上过60秒后就可以重新连接！
为什么要等待2M

				
BrokenPipeError: [Errno 32] Broken pipe
前言：今天在训练yolov5.6.1版本，突然出现BrokenPipeError: [Errno 32] Broken pipe错误。
一、 运行命令python train.py 出现如下错误
Traceback (most recent call last):
  File "train.py", line 643, in <module>
    main(opt)
  File "train.py", lin

Broken pipe 本质是 IOError 错误，是 Linux 系统层面的机制导致，一般发生在读写文件IO和网络Socket IO的时候。
对应的 Linux 系统错误是 EPIPE，摘自【参考2】的一段话：
Macro: int EPIPE “Broken pipe.” 
There is no process reading from the other end...
IOError: [Errno 32] Broken pipe
面对这类错误的时候，不知道该从何下手去解决，笔者就此问题进行简要分析，希望可以解决大家碰到的类似问题。
这个 Broken pipe 本质是 IOError 错误，是 Linux 系统层面的机制导致，一般发生在读写文件IO和网络Socket IO的时候。
对应的 Linux 系统错误是 EPIPE，摘自【参考2】的一段话：
Macro: int EPIPE “Bro
BrokenPipeError: [Errno 32] Broken pipe
redis.exceptions.ConnectionError: Error 104 while writing to socket. Connection reset by peer.
set或get数据时，数据过大，则会...
				
这个错误发生在当client端close了当前与你的server端的socket连接，但是你的server端在忙着发送数据给一个已经断开连接的socket。  
 下面是stackoverflow给的解决方案:  
  Your server process has received a ...

				
1、 pipe容量不足
使用nohup后台进程处理之后信息会不断发送给远程pc，如果关闭控制台，会导致pipe堵塞，如果信息接着不断发送，就会导致pipe容量不足，信息堵塞。
solution：
重定向输出，使用stdout代替print，将print的内容输入到文件中；或者更加简洁的方法是，在控制台运行程序的时候使用 > 或 >>，将print的结果直接输入到文件中。 前者是覆...

				
[Errno 32] Broken pipe 错误通常表示您正在写入一个已关闭的管道或套接字。这可能是因为它在另一端被关闭了，或者可能是因为发生了一些其他错误。
要解决此问题，可以尝试以下操作：
- 确保您的程序正确地处理了管道或套接字的关闭。
- 检查您的代码，确保没有意外地关闭了管道或套接字。
- 如果您正在使用网络套接字，请检查是否存在网络故障或其他问题。
如果以上建议都无法帮助您解决问题，建议您提供更多的上下文信息，以便我们为您提供更具体的帮助。
 
推荐文章
爱吹牛的吐司  ·  javascript - JavaScript 或jquery 如何设置一个div 的 flex 样式属性 和justifyContent 样式属性 ？？ - SegmentFault 思否
8 月前
性感的硬币  ·  显示隐藏过度效果（hover）_显示隐藏的过渡效果-CSDN博客
11 月前
爱听歌的咖啡豆  ·  [langchain-ChatGLM] No module named 'tools.infer' 问题排查及解决方案 - 掘金
1 年前
魁梧的水煮鱼  ·  印度观察 | 2022.9.16-9.30-四川大学南亚研究所官方网站
1 年前
酒量大的香烟  ·  如何将向量类型的VectorAssembler输出转换为数组 - 问答 - 腾讯云开发者社区-腾讯云
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   藏经阁   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号