server.max-http-header-size与OOM不得不说的故事

2024-03-11 06:12

本文主要是介绍server.max-http-header-size与OOM不得不说的故事,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天的故事是从nacos的升级开始的,出于性能、服务治理等原因我司想把从dubbo2.7.x升级到3.2.x,但在这之前有个前提,那就是nacos首先要升级到2.x,于是乎就开始了我多灾多难的nacos升级之旅。

一开始我以为这会是个很简单的事情,毕竟很多人已经从1.x升级到2.x了,但当运维把测试环境的nacos升级到2.x后没多会涌现了一堆告警,全都是找不到dubbo的服务提供者,我这边立马登到nacos容器中查看,整个nacos的堆已经到了32G,且在一直不停地fullgc过了一会更是健康检查失败被k8s重启了,确认了是堆满了以后这边也是立马dump了一份堆快照到持久卷。

然后就是一顿分析
在这里插入图片描述
在这里插入图片描述看的出来是直接原因是有大量5M的byte数组,然后分析引用发现是tomcat的nio请求对象的消息头,难不成是因为请求的消息头非常大?

这边也是分析出来大部分的请求都是/v1/cs/configs/listener

于是我在client和server端都查看了这个请求的消息头,发现消息头的内容很少,但消息头的大小确占用了5M,byte数组后面充斥着大量的0。这是怎么回事呢,忽然我看到nacos的jvm中有这么一项参数

--server.max-http-header-size=5242880

5242880 / 1024 / 1024 = 5M

这大大的可疑啊。

Max-HTTP-Header-Size in Spring Boot 2 | Baeldung

这个配置项的含义是Spring Boot 2中的最大HTTP标头大小,这里有个很坑的地方就是虽然叫最大,但是这个最大是指所有http请求中可能最大的header的大小,当http的请求的header大于此大小时该请求将会报HTTP Status 400 – Bad Request,而在请求创建的时候就会申请此大小的byte数组用于存储消息头(但不限于消息头这也是一个常见的误区后面会讲到)。

但一个请求5M这听着很奇怪啊,这个参数是不是我们运维瞎几把加的,我到了nacos的github上看了一眼好嘛参数确实是有的但人家是

--server.max-http-header-size=524288

大概是512k,好像合理了很多。问了下运维运维说应该是他手抖多加了个0,我尼玛,这个事情折磨了我好几周,竟然是因为你小子的手抖。

但我对max-http-header-size这个参数就产生了好奇,nacos为什么要加这个参数,在issue找到了作者的解释

https://github.com/alibaba/nacos/issues/9575

但作者的说法比较模棱两可,所以我又从git log中找到了这次提交是因为/v1/ns/instance/beat

这个心跳接口出现了请求失败

https://github.com/alibaba/nacos/issues/1069

开发者直接添加了max-http-header-size参数作为一个临时方案
在这里插入图片描述

git log说的蛮清楚的作为临时方案解决问题,只是没想到这个临时竟然都临到了5年后。。。

事情到此我本以为告一段落,但翻看源码时,我忽然发现beat的请求参数是挂在http的query中的,并不是放在消息头里,那为什么url参数过长需要调整max-http-header-size这个参数呢?这玩意不是控制消息头吗,本着实事求是的原则我在自己的测试应用测试了一下,当url超过8192时报错内容如下

org.apache.coyote.http11.Http11Processor: Error parsing HTTP request headerNote: further occurrences of HTTP request parsing errors will be logged at DEBUG level. java.lang.IllegalArgumentException: Request header is too largeat org.apache.coyote.http11.Http11InputBuffer.fill(Http11InputBuffer.java:781) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.coyote.http11.Http11InputBuffer.parseRequestLine(Http11InputBuffer.java:451) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:261) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:65) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:868) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1590) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_301]at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_301]at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) ~[tomcat-embed-core-9.0.39.jar:9.0.39]at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_301]

好家伙,url超长怎么报了个header过大,然后我调大max-http-header-size竟然又可以正常请求了,我开始凌乱了,不得不又埋头扎进了tomcat的源码。

最后通过阅读org.apache.coyote.http11.Http11InputBuffer#fill方法我发现虽然URL和请求头部在 HTTP 请求中有着不同的用途,但它们实际上都属于HTTP请求的一部分,都包含在HTTP报文中。在处理 HTTP 请求时,服务器需要将整个请求报文(包括请求行、请求头部、请求体等)读入内存中进行解析和处理。因此,服务器需要为整个请求报文分配一块缓冲区,并设置一个大小限制以防止恶意或错误的请求导致服务器资源耗尽。因此,即使URL和请求头部在概念上是独立的,但它们都被视为请求报文的一部分,都会占用服务器的缓冲区。因此,在许多Web服务器中,URL和请求头部的大小都受到相同的配置项的限制

最后的最后为nacos提了一个优化建议https://github.com/alibaba/nacos/issues/11810,如果能优化掉server.max-http-header-size这个参数想必对内存的使用会有明显的降低。

原文地址:https://pebble-skateboard-d46.notion.site/server-max-http-header-size-OOM-281b1227772941f4b57c17d375bb0fc9?pvs=25

这篇关于server.max-http-header-size与OOM不得不说的故事的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/796910

相关文章

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

springboot如何通过http动态操作xxl-job任务

《springboot如何通过http动态操作xxl-job任务》:本文主要介绍springboot如何通过http动态操作xxl-job任务的问题,具有很好的参考价值,希望对大家有所帮助,如有错... 目录springboot通过http动态操作xxl-job任务一、maven依赖二、配置文件三、xxl-

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示

Linux中修改Apache HTTP Server(httpd)默认端口的完整指南

《Linux中修改ApacheHTTPServer(httpd)默认端口的完整指南》ApacheHTTPServer(简称httpd)是Linux系统中最常用的Web服务器之一,本文将详细介绍如何... 目录一、修改 httpd 默认端口的步骤1. 查找 httpd 配置文件路径2. 编辑配置文件3. 保存

Windows Server 2025 搭建NPS-Radius服务器的步骤

《WindowsServer2025搭建NPS-Radius服务器的步骤》本文主要介绍了通过微软的NPS角色实现一个Radius服务器,身份验证和证书使用微软ADCS、ADDS,具有一定的参考价... 目录简介示意图什么是 802.1X?核心作用802.1X的组成角色工作流程简述802.1X常见应用802.

C++ HTTP框架推荐(特点及优势)

《C++HTTP框架推荐(特点及优势)》:本文主要介绍C++HTTP框架推荐的相关资料,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. Crow2. Drogon3. Pistache4. cpp-httplib5. Beast (Boos

SQL Server身份验证模式步骤和示例代码

《SQLServer身份验证模式步骤和示例代码》SQLServer是一个广泛使用的关系数据库管理系统,通常使用两种身份验证模式:Windows身份验证和SQLServer身份验证,本文将详细介绍身份... 目录身份验证方式的概念更改身份验证方式的步骤方法一:使用SQL Server Management S

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a