2022-06-27 10:01:17.501 ERROR 1 --- [nio-5010-exec-7] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is com.alibaba.excel.exception.ExcelGenerateException: Can not close IO.] with root cause
java.io.IOException: Broken pipe
 at java.base/sun.nio.ch.FileDispatcherImpl.write0(Native Method) ~[na:na]
 at java.base/sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:62) ~[na:na]
 at java.base/sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:113) ~[na:na]
 at java.base/sun.nio.ch.IOUtil.write(IOUtil.java:79) ~[na:na]
 at java.base/sun.nio.ch.IOUtil.write(IOUtil.java:50) ~[na:na]
 at java.base/sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:532) ~[na:na]
 at org.apache.tomcat.util.net.NioChannel.write(NioChannel.java:135) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.tomcat.util.net.NioEndpoint$NioSocketWrapper.doWrite(NioEndpoint.java:1363) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.tomcat.util.net.SocketWrapperBase.doWrite(SocketWrapperBase.java:766) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.tomcat.util.net.SocketWrapperBase.writeBlocking(SocketWrapperBase.java:586) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.tomcat.util.net.SocketWrapperBase.write(SocketWrapperBase.java:530) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.coyote.http11.Http11OutputBuffer$SocketOutputBuffer.doWrite(Http11OutputBuffer.java:547) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.coyote.http11.filters.ChunkedOutputFilter.doWrite(ChunkedOutputFilter.java:110) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.coyote.http11.Http11OutputBuffer.doWrite(Http11OutputBuffer.java:194) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.coyote.Response.doWrite(Response.java:615) ~[tomcat-embed-core-9.0.54.jar:9.0.54]
 at org.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:340) ~[tomcat-embed-core-9.0.54.

到底什么是断管?

简单来说,Broken Pipe 意味着一台机器正在尝试从管道读取数据或向管道写入数据,而管道另一端的机器已经死亡或终止。现在,由于连接已关闭,应建立新连接以进一步传输数据,否则数据传输将停止。

它是如何发生的?

此问题的最常见原因之一是客户端在执行任何操作(如加载页面或下载附件)时关闭打开的连接。当使用 Nginx 之类的代理/负载均衡器(例如关闭 Web 浏览器甚至简单地取消下载)或连接速度很慢时,强制关闭某些连接也会发生这种情况。

一个简单的场景:浏览器向服务器请求资源,作为响应,服务器向浏览器返回响应。如果在服务器向浏览器发送响应时用户关闭了浏览器怎么办?服务器与浏览器之间的连接意外关闭。然后这会导致 Broken Pipe,该异常被称为 java.io.IOException: Broken Pipe in Java。

这也可能发生在任何中断客户端和服务器之间连接的事情上,包括性能问题甚至网络间歇性问题。

并非每个 Broken Pipe 异常都是开发人员的错

导致此异常的可能因素:

最终用户数量

由于Broken Pipe的主要原因之一是用户的行为(在服务器完成发送响应之前意外关闭活动浏览器会话),最终用户数量的增加增加了Broken Pipe的机会。

重响应负载

来自服务器的重响应需要大量时间才能传输到客户端,而这个巨大的时间跨度可能是 Broken Pipe 的情况。

服务器超时

如果 Web 服务器在等于服务器设置的超时值的特定时间内无法得到服务的响应,它会关闭与客户端的连接,返回 503: Gateway Timeout 并因此导致 Broken Pipe。

断管异常是危险信号吗?

公平地说,这不是一个危险信号,因为它很大程度上是由用户的正常行为引起的,并且总是有可能由于某些故障而关闭服务。但是,如果服务器一次运行在相对大量的用户请求上,那么不仅是 Broken Pipe,而且任何异常似乎都会造成问题。

在我的例子中,由于高网络流量,日志被损坏的管道异常淹没。因为,写入文件(I/O 操作)是服务器执行的昂贵操作之一,想象一下服务器被与 Broken Pipe 相关的异常淹没,并且服务器必须投入大量资源才能将该异常堆栈跟踪写入日志文件。这导致服务器响应缓慢并使其迟缓。

在这一点上,我意识到,当扩展到大流量时,YES BROKEN PIPE EXCEPTION 是一个红色信号。

处理或移除破损管道的挑战
该系统使用 Wildfly 10.1 作为应用程序服务器,并在 JavaEE 7 上编写。处理这种情况对我来说不是小菜一碟,因为:

在本地或 QA 环境中复制此异常需要正确对齐所有行星(开个玩笑),但是是的,这太难了。

在 Java 中处理异常很容易,只要在 catch 块中捕获异常即可。未处理异常的性质:java.io.IOException: Broken pipe 是这样的,它从 Wildfly 容器中引发并在堆栈跟踪中注销,而不是被困在 catch 块中。现在,想象一下必须处理无法从代码中捕获的异常。天哪!!!!

您永远不会知道,哪个请求引发了问题,因为服务器收到大量请求,其中任何一个都可能是异常的原因。将日志与套接字端点一起添加到每个 REST 端点是不可行的。

修复 java.io.IOException : Broken Pipe
最后,经过这么多断章取义的谈话,这里是主要部分(希望它值得等待)。

从系统中删除异常的两种方法是:

调查异常的根本原因,并消除它。
使用适当的日志记录或某些操作来优雅地处理异常。
消除根本原因
要求用户不要意外关闭连接
这是不可能的,看在上帝的份上

减少 api 响应负载

这在某种程度上是可以实现的,但是在遗留系统中,对大量数据进行操作,重写所有逻辑以使 api 响应不重也不在所有情况下都是可行的。

增加服务器超时

Nginx 有一个名为proxy_read_timeout的变量,它的默认值为 60s,增加这个值也会最大限度地减少 Broken Pipe 的机会。

即使在消除了在这种情况下本身很难检测到的确切根本原因之后,我们也不能完全排除断管的存在。我们可以吗?

因此,下一个解决方案是优雅地处理 Broken Pipe。

处理 java.io.IOException: Broken Pipe

抑制来自 logger 本身的日志 如果您使用 log4j 作为日志管理器,将以下配置添加到 log4j.properties 将有助于摆脱由于 Broken Pipe 导致的异常泛滥日志。

log4j.logger.org.apache.catalina.connector.ClientAbortException = ERROR, console, cloudAppender
log4j.additivity.org.apache.catalina.connector.ClientAbortException = false

在 Wildfly 中升级 Resteasy 我们使用 JAX-RS 的 Resteasy 实现在 Java 中实现 REST,Resteasy v3.0.19 与 Wildfly 10.1 捆绑在一起。希望能在 resteasy 本身中找到一些修复,我开始深入研究 Resteasy 的发行说明,发现在 Resteasy-Client v3.1.1 之后,可以从代码中捕获 Unhandled Exception: java.io.IOException,不像容器暴露它直接进入logtrace。因此,Resteasy Client 的升级版本允许我们通过 Global Exception Handler 来处理异常(后面会介绍)。
在 Wildfly 中升级 Resteasy 的步骤

查找 Resteasy 分发 jar

的位置: Resteasy 分发 jar 的位置位于:
WILDFLY_HOME/modules/system/layers/base/org/jboss/resteasy/resteasy-jaxrs/main
文件名:resteasy-jaxrs-3.0.19 .Final.jar

从Resteasy 下载处下载resteasy 目标版本(3.1.1 及以上)的 zip 文件

在临时目录中解压文件。它里面还有另外两个 zip 文件:
resteasy-jboss-modules-3.1.1.Final-mavenized.zip和
resteasy-jboss-modules-3.1.1.Final.zip

在以下位置解压缩两个 .zip 文件:
WILDFLY_HOME/modules/system/layers/base

在pom.xml中更新 resteasy 依赖项的版本

<dependency> 
  <groupId>org.jboss.resteasy</groupId> 
  <artifactId>resteasy-jaxrs</artifactId> 
  <version>3.1.1.Final</version>
  <scope>provided</scope>
</dependency>

使用 Global Exception Handler 我进一步从 java 代码本身添加了 Generic Exception Mapper,以捕获和处理 Broken Pipe。
我的最终方法
虽然我已经收集了多种技术来解决这个问题,但以下是我实际实现的东西:

将 Wildfly 升级到 v11.0,因为它自动附带了 Resteasy v3.1.1(我真正想要的版本)捆绑在其中。
通过 Global Exception Handler 处理异常
有了这个,Broken Pipe 的问题现在只存在于旧的日志档案中.

参考文献:https://dev.to/bishwapoudel/how-i-fixed-java-io-ioexception-broken-pipe-in-java-wildfly-10-1-86k

到底什么是断管?简单来说,Broken Pipe 意味着一台机器正在尝试从管道读取数据或向管道写入数据,而管道另一端的机器已经死亡或终止。现在,由于连接已关闭,应建立新连接以进一步传输数据,否则数据传输将停止。此问题的最常见原因之一是客户端在执行任何操作(如加载页面或下载附件)时关闭打开的连接。当使用 Nginx 之类的代理/负载均衡器(例如关闭 Web 浏览器甚至简单地取消下载)或连接速度很慢时,强制关闭某些连接也会发生这种情况。一个简单的场景:浏览器向服务器请求资源,作为响应,服务器向浏览器返回响应。 开发过一个协议,一共有两个服务,第一个服务接收移动平台推送的数据,并使用tcp/ip方式进行数据收发至第二个服务进行数据解析及设备响应。但一段时间后发现使用tcp/ip方式发送数据出错,错误信息为BROKEN PIPE。在度娘上找了找,主要有两个方面。 原因一、项目中存在大量的print输出,导致pipe容量不足,使用nohup后台进程处理之后信息会不断地发送给远程pc,如果信息接着不断发送,就会导致pipe容量不足,信息堵塞。 原因二、t...
java.io.IOException 断开的管道 解决方法 ClientAbortException: java.io.IOException: Broken pipe
今天公司技术支持的童鞋报告一个客户的服务不工作了,紧急求助,于是远程登陆上服务器排查问题。 查看采集数据的tomcat日志,习惯性的先翻到日志的最后去查看有没有异常的打印,果然发现了好几种异常信息,但是最多还是这个: 24-Nov-2016 09:54:21.116 SEVERE [http-nio-8081-Acceptor-0] org.apache.tomcat.uti...
MySQL Broken Pipe问题通常是由于连接到MySQL服务器的客户端程序在执行查询或其他操作时,与MySQL服务器连接的套接字被意外关闭,导致客户端程序无法继续向MySQL服务器发送请求,从而报告Broken Pipe错误。 解决MySQL Broken Pipe问题的方法如下: 1. 增加MySQL服务器的连接超时时间,可以通过修改MySQL服务器的参数wait_timeout和interactive_timeout来实现。这样可以确保连接在一段时间内不会断开。 2. 降低客户端程序的连接闲置时间,可以通过修改客户端程序的参数来实现。可以将连接闲置时间设置为与MySQL服务器的连接超时时间相同。 3. 检查网络连接,检查网络是否不稳定,或者是否存在其他网络问题。可以通过ping命令或traceroute命令来检查网络是否可达。 4. 检查MySQL服务器的日志,查看是否有任何错误或异常发生。可以通过MySQL的错误日志或慢查询日志来查看。 5. 更新MySQL服务器和客户端程序的版本,以确保它们都是最新版本,并且已经修复了与Broken Pipe问题相关的错误。 希望以上方法可以帮助你解决MySQL Broken Pipe问题
北风之神c: 总结的很全面,写得赞,博主用心了。 此国产日志 https://nb-log-doc.readthedocs.io/zh_CN/latest 使用原生 loggng封装,兼容性和替换性100%,大幅简化logging的使用。 1、日志能根据级别能够自动变彩色。 2、print自动变彩色。 3、日志和print在pycahrm控制台的输出都自动可以点击跳转到文件和行号。 4、多进程日志切割安全,文件日志写入性能高 。 5、入参简单,能一键自动记录到多种地方。 6、 nb_log 兼容包含loguru色彩模式,loguru只是nb_log的子集之一. 相比 loguru 有10胜。 pip install nb_log 。 wps卸载和重新安装 linux版本的在Windows上面是可以使用吗 程序员好用的AI工具,安装及其使用 普通网友: 引领技术潮流,是不可多得的好文,十分值得借鉴和参考。期待博主未来能够持续分享更多好文【我也写了一些相关领域的文章,希望能够得到博主的指导,共同进步!】 DEPRECATION: The HTML index page being used (http://mirrors.aliyun.com/pypi/simple/mpmath/) m0_60635637: 每当我阅读你的编程博客文章时,我总能感受到你的专业水平和耐心解答的精神。【我也写了一些相关领域的文章,希望能够得到博主的指导,共同进步!】 程序员好用的AI工具,安装及其使用 普通网友: 你的博客内容深入浅出,总是让我不再感到学习的困难,每一篇博文都是我学习的宝库。【我也写了一些相关领域的文章,希望能够得到博主的指导,共同进步!】