V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
main1234
V2EX  ›  Kubernetes

求教 k8s 中 service、kubeproxy ipvs、flannel 的关联问题

  •  
  •   main1234 · 193 天前 · 1497 次点击
    这是一个创建于 193 天前的主题,其中的信息可能已经有所发展或是发生改变。

    资源清单

        nodeA 192.168.1.1
        nodeB 192.168.1.2
    
        podA 在 nodeA 上 podIP 10.111.1.1
        podB 在 nodeB 上 podIP 10.111.2.2
        podC 在 nodeA 上 podIP 10.111.3.3
    
        svc 管理 podA podB ,svcIP 为 10.111.4.1
        svc endpoint 为 10.111.1.1 、10.111.2.2
    

    疑问点在 podC 通过 svcIP 访问的流程,其中涉及了 flannel-UDP 、网桥、kubeproxy ipvs ,比较乱,想整体捋清下流程

    以下是我认为的流程

    发送
    1.nodeA 上的 podC 发出向 svc 的流量,源地址 10.111.3.3 ,目标地址 10.111.4.1 ,根据容器内路由会走 cni0 网桥
    2.cni0 和宿主机网卡建立 pair veth 关系,流量会出现在宿主机网卡
    3.由于目的 ip 为一个 svc 地址,nodeA 上面的 kubeproxy 已经提前建立好的 iptables ,会做 DNAT 转换为 podA 、podB 的 IP
    4.此时在 nodeA 上已经做了 DNAT ,相当于是 podC 请求 podB 的 IP(iptables 做负载均衡,假如负载到了 podB)
    5.nodeA 根据路由将流量转到 flanned.0 ,TUN 到 flanned
    6.flanned 通过 etcd 获取 podB IP 和 node 的关系,得到 podB 在 nodeB 上,封 UDP 包
    7.此时 IP 包的源 IP 为 nodeA 、目的 IP 为 nodeB ,UDP 包的源 IP 为 podC 、目的 IP 为 podB ,用 nodeB 做 ARP ,经过内核将 UDP 发出
    
    收包
    1.流量到 nodeB 上的 flanne.0,TUN 到 flanned ,解包得出真正容器维度源 IP 、目的 IP
    2.根据目的 IP 流转到 cni0
    3.流到 podB
    

    以上的流程有问题么???感觉 svc 经过 iptables 转换为 endpoint 中的 IP ,不太确定到底是发生在哪一步

    6 条回复    2024-05-18 22:34:43 +08:00
    druggo
        1
    druggo  
       192 天前
    第 3 步,既然用 ipvs 模式,cluster ip 都在 ipvs 的虚拟网卡上(kube-ipvs0) ,不会经过 iptables 的,直接 ipvs 转发到 endpoint ip
    main1234
        2
    main1234  
    OP
       192 天前
    @druggo 哦对对,我忘了,ipvs 不会使用 iptables ,有疑问就是 ipvs 会获取到这个转发的 ip ,然后会做一次 DNAT 吧??把 svc 的 clusterIP 换成 podIP ,然后走到 flanned.0 进而走到用户态的 flanned 对吧
    mayooot
        3
    mayooot  
       192 天前
    假如你的 kube-proxy 模块用的 iptables 模式,然后我尝试回答一下你的疑问。
    假设现在一个 Service 下面有 2 个 Pod ,iptables 规则如下:
    ~~~
    -A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
    ~~~

    负载均衡规则和 DNAT 规则如下:
    ~~~
    -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
    -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3


    -A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
    -A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
    ~~~
    mayooot
        4
    mayooot  
       192 天前
    @mayooot 我的回答是直接截取的一个 Service 下面 3 个 Pod 的 iptables 规则,可能和楼主说的对应不上。看个意思就行吧
    druggo
        5
    druggo  
       192 天前
    guanzhangzhang
        6
    guanzhangzhang  
       192 天前
    在非容器环境上实现散装的 IPVS SVC
    https://zhangguanzhang.github.io/2021/09/28/ipvs-svc/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5377 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.