CoreDNS实战(十二)-常见问题及优化方案

2024-02-18 15:28

本文主要是介绍CoreDNS实战(十二)-常见问题及优化方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题一:重启coredns导致业务域名不可解析

现象

重启coredns pod导致集群业务解析域名五分钟可不用

原因

当集群使用IPVS作为kube-proxy负载均衡模式时,可能会在CoreDNS缩容或重启时遇到DNS概率性解析超时的问题。该问题由社区Linux内核缺陷导致,具体信息,请参见。
https://github.com/torvalds/linux/commit/35dfb013149f74c2be1ff9c78f14e6a3cd1539d1?spm=a2c63.p38356.0.0.56a3eb84uFgUly

大概就是当coredns节点有变更例如ip变化了,由于有会话保持的机制pod还会复用之前的连接。

优化方案

1 部署NodeLocal DNSCache(推荐)

NodeLocal DNS介绍及部署应用_nodelocaldns-CSDN博客

1.2 NodeLocal DNS优势
  •  pod首先会访问nodelocaldns,nodelocaldns会将每次请求缓存到本地。可以大大的提高性能。相当于集群的每个节点都是一个dns服务器
  •  降低coredns 80% - 90%的请求量,减轻coredns的压力和瓶颈问题
  •  如果coredns有变更时,由于我们使用nodelocaldns,pod会首先访问nodelocaldns 如果请求没有命中,nodelocaldns 再去请求coredns 进行tcp协议的请求重新建立连接三次握手,几乎不影响业务

2 修改kube-proxy 会话保持超时时间 --ipvs-udp-timeout=10s 

   修改方式两种,都需要重启kube-proxy:

  • 一般通常会在kube-system命名空间下有一个kube-proxy的configmap,configmap中把这行配置加上即可。
  • 修改kube-proxy daemonsets 增加参数

默认超时时间为300s,遇到的现象就是服务五分钟无法解析。

简单说一下不推荐第二种方式的原因     

  • 可以修改为10s或者5s这样可以减少一些业务流量的损失,但是没有解决本质的问题。
  • 如果设置为0则代表不开启会话保持,这种情况下业务pod每进行一次域名方式的请求都会去和coredns 建立udp的连接。频繁建连首先一定会造成很多不必要的网络开销。
  • 其次就是如果coredns 将65535个端口都占用完这个时候就会建立连接失败意味着业务会解析失败。
  • 重启集群所有kube-proxy pod尤其是在线业务这种操作对服务来说是毁灭性的

问题二:业务无法访问外部域名

现象

服务部署到集群后,业务反馈有些接口会报无法解析部分外网域名的问题。

导致原因

因为Deployment默认使用的dnsPolicy策略为ClusterFirstWithHostNet,这种模式会优先走集群内部的coredns解析,如果coredns无法解析就会通过coredns的配置文件 forward 到宿主机的/etc/resolv.conf文件使用nameserver dns。由于宿主机的dns是自建的,只做内网域名的解析,公网域名都会forward到公有云的DNS服务器。 画个简图如下:

注意上面说的是部分公网无法解析并不是所有公网域名都不行。之后为了快速恢复业务,将dnsPolicy 策略改为了Default模式这个模式会将宿主机的 resolv.conf文件挂载到pod中相当于使用宿主机的nameserver。改成这种方式也没有恢复。

测试发现用dig命令直接解析时会报错 connection timed out; no servers could be reached,用nslookup 解析则正常。由于隐私问题就不截解析结果的图了。从nslookup的解析结果来看这个域名包含了70多条A记录。如下图:

这里说明了一个问题,nslookup解析域名是用的TCP协议,dig 默认不指定协议的情况是UDP,之后又用dig +tcp 再次解析这个域名结果符合预期使用tcp解析时没有问题的。

那么问题又来了,为什么使用UDP协议解析时会失败呢。抓包分析由于这个域名有很多A记录导致返回结果超过了512 字节 达到了1866字节。

抓包的路径如下:

服务器---> LB --> IDC DNS Server 这个包是在dns 服务器上看到的。同时也在服务器抓包发现服务器并没有接收到response只有query的包。那这个问题又是为什么呢?dns 服务器分明返回数据了但是客户端没有接收到。结合整体的链路判断应该是LB出现了问题:

询问云厂商后得知云厂商LB用的NAT模式也就是说请求的结果一定还会通过LB将结果返回,而且云厂商LB还有一个限制当使用UDP请求的返回结果大于1500byte 就会丢弃。而且之前测试过nameserver绑定某一台rs是没有问题。足以说明一定是LB的问题。

优化方案

  • 将LB  TCP 后端rs增加为9个确保每个rs都能正常响应tcp请求
  • 部署NodeLocal DNSCache,pod 访问NodeLocalDNS默认协议是UDP,但是NodeLocal DNS 请求core DNS使用的是TCP协议。
  • 业务代码改用TCP方式(需要研发配合修改代码,如果涉及到底层依赖的库不是太友好)

附录

Core DNS配置优化和说明 
apiVersion: v1
data:Corefile: |.:53 {errorsready  # 节点就绪探测,默认监听端口8181,检测通过后挂到endpoint#logdebughealth {  #CoreDNS自身健康状态报告,默认监听端口8080,一般用来做健康检查lameduck 15s}kubernetes cluster.local in-addr.arpa ip6.arpa {pods insecurefallthrough in-addr.arpa ip6.arpa}hosts {198.18.96.191 xxx.xxx.xxx.xxxfallthrough}#template IN AAAA .      #禁用ipv6#template ANY AAAA {     #ipv6解析时返回NXDOMAIN#    rcode NXDOMAIN#    fallthrough#}prometheus :9153forward . /etc/resolv.conf {prefer_udp             #优先使用udp协议}cache 30loop                     #环路检测,如果检测到环路,则停止CoreDNS。reload                   #动态加载配置文件loadbalance              #循环DNS负载均衡器,可以在答案中随机A、AAAA、MX记录的顺序}
kind: ConfigMap
metadata:name: corednsnamespace: kube-system

这篇关于CoreDNS实战(十二)-常见问题及优化方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/721593

相关文章

在Java中将XLS转换为XLSX的实现方案

《在Java中将XLS转换为XLSX的实现方案》在本文中,我们将探讨传统ExcelXLS格式与现代XLSX格式的结构差异,并为Java开发者提供转换方案,通过了解底层原理、性能优势及实用工具,您将掌握... 目录为什么升级XLS到XLSX值得投入?实际转换过程解析推荐技术方案对比Apache POI实现编程

Swagger在java中的运用及常见问题解决

《Swagger在java中的运用及常见问题解决》Swagger插件是一款深受Java开发者喜爱的工具,它在前后端分离的开发模式下发挥着重要作用,:本文主要介绍Swagger在java中的运用及常... 目录前言1. Swagger 的主要功能1.1 交互式 API 文档1.2 客户端 SDK 生成1.3

java连接opcua的常见问题及解决方法

《java连接opcua的常见问题及解决方法》本文将使用EclipseMilo作为示例库,演示如何在Java中使用匿名、用户名密码以及证书加密三种方式连接到OPCUA服务器,若需要使用其他SDK,原理... 目录一、前言二、准备工作三、匿名方式连接3.1 匿名方式简介3.2 示例代码四、用户名密码方式连接4

Java Spring 中的监听器Listener详解与实战教程

《JavaSpring中的监听器Listener详解与实战教程》Spring提供了多种监听器机制,可以用于监听应用生命周期、会话生命周期和请求处理过程中的事件,:本文主要介绍JavaSprin... 目录一、监听器的作用1.1 应用生命周期管理1.2 会话管理1.3 请求处理监控二、创建监听器2.1 Ser

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

在Spring Boot中实现HTTPS加密通信及常见问题排查

《在SpringBoot中实现HTTPS加密通信及常见问题排查》HTTPS是HTTP的安全版本,通过SSL/TLS协议为通讯提供加密、身份验证和数据完整性保护,下面通过本文给大家介绍在SpringB... 目录一、HTTPS核心原理1.加密流程概述2.加密技术组合二、证书体系详解1、证书类型对比2. 证书获

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe

Java中的Closeable接口及常见问题

《Java中的Closeable接口及常见问题》Closeable是Java中的一个标记接口,用于表示可以被关闭的对象,它定义了一个标准的方法来释放对象占用的系统资源,下面给大家介绍Java中的Clo... 目录1. Closeable接口概述2. 主要用途3. 实现类4. 使用方法5. 实现自定义Clos

MQTT SpringBoot整合实战教程

《MQTTSpringBoot整合实战教程》:本文主要介绍MQTTSpringBoot整合实战教程,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录MQTT-SpringBoot创建简单 SpringBoot 项目导入必须依赖增加MQTT相关配置编写

JavaScript实战:智能密码生成器开发指南

本文通过JavaScript实战开发智能密码生成器,详解如何运用crypto.getRandomValues实现加密级随机密码生成,包含多字符组合、安全强度可视化、易混淆字符排除等企业级功能。学习密码强度检测算法与信息熵计算原理,获取可直接嵌入项目的完整代码,提升Web应用的安全开发能力 目录