解决KubernetesPodDNS超时问题-每天进步一点-51CTO博客

Windows Windows 2个月前 (08-15) 18次浏览 已收录 0个评论 扫描二维码

最近刚给公司测试环境上了K8s,大部分容器采用得是以alpine为基础的镜像,基础服务如MySQL、Redis等以域名的方式连接,但是出现一个很奇怪的现象,部分Pod内应用报DNS超时,大概报错日志是这样的(JAVA):io.netty.resolver.dns.DnsNameResolverTimeoutException: [/10.96.0.10:53] query timed out after 5000 milliseconds (no stack trace available)
?
网上搜了一下,似乎K8s环境中使用alpine作镜像就会出现这个问题,参考了这篇文章:https://forum.choerodon.io/t/topic/1111, 尝试解决方法如下
1、使用移除解析AAAA记录的alpine修改版镜像,并安装了glibc以支持java,镜像地址:https://hub.docker.com/r/geekidea/alpine-a/, 无效
2、文章中提到非alpine镜像,可以通过修改/etc/resolv.conf增加options single-request-reopen解决问题,alpine镜像不行,原因是非alpine镜像采用的glibc,而alpine默认使用的是musl libc,想着我们用的alpine已经安装glibc,可不可以用这个方法试一下,于是尝试修改,在YAML中加入下面这段:

        lifecycle:
          postStart:
            exec:
              command:
              - /bin/sh
              - -c 
              - "/bin/echo 'options single-request-reopen' >> /etc/resolv.conf"

注意:这里不能直接使用sed替换,会报错。
还是无效

重新理清思路,会不会是自动生成的/etc/resolv.conf有问题,造成DNS不正常,查看Pod的/etc/resolv.conf,原始文件内容如下:

nameserver 10.96.0.10
search test1.svc.cluster.local  svc.cluster.local cluster.local
options ndots:5

尝试ping test1.svc.cluster.local
ping svc.cluster.local
ping cluster.local
发现后两个根本无法ping通,难道这两个搜索域引起DNS超时,于是决定试试不使用默认生成的/etc/resolv.conf,自己写,查看K8s官方文档,原来官方就提供类似配置,在YAML的spec段加入如下配置:

      dnsPolicy: "None"
      dnsConfig:
        nameservers:
        - 10.96.0.10
        searches:
        - test1.svc.cluster.local
        options:
        - name: single-request-reopen

注意nameservers为kube-dns的ClusterIP,searches(搜索域)根据你的实际环境配置
生成的/etc/resolv.conf如下:

nameserver 10.96.0.10
search test1.svc.cluster.local
options single-request-reopen

尝试多次删除Pod,创建Pod,问题不再复现,原来罪魁祸首就出在resolv.conf的搜索域配置中,具体原理等以后有空再去研究一下,最近没时间:)

喜欢 (0)
[]
分享 (0)
关于作者:
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址