k8s集群升級了雙協議棧后，從集群內無法訪問外部ipv6服務，已經確認部署了Endpoint和Service。而同樣采用ip

問題背景

k8s集群升級了雙協議棧后，從集群內無法訪問外部ipv6服務，已經確認部署了Endpoint和Service。而同樣采用ipv4是沒問題的。

(資料圖片)

1 部署Endpoint和Service

apiVersion: v1kind: Servicemetadata:  name: myep  namespace: default  labels:    app: myepspec:  ports:  - name: http-8080    port: 8080    protocol: TCP    targetPort: 8080  ipFamilies:  - IPv6---apiVersion: v1kind: EndpointsapiVersion: v1metadata:  name: myep  #此名字需與 Service 中的 metadata.name 的值一致  namespace: default  labels:    app: myepsubsets:  - addresses:      - ip: 1002:003B:456C:678D:890E:0012:234F:56G7   ## 集群外Ip    ports:      - port: 8080        name: http-8080

復制

然后在集群的Pod中訪問myep:8080不通。

分析

通過tcpdump在1002:003B:456C:678D:890E:0012:234F:56G7這臺機器山上抓包：

tcpdump -i eth0 host 1002:003B:456C:678D:890E:0012:234F:56G7 tcp -vv

復制

發現可以收到發來的請求，但是并沒有回包。

同樣用tcpdump抓ipv4的包，是有回包的。分析ipv4和ipv6的差異：ipv4的SrcIP是Pod所在宿主機的ip，而ipv6的SrcIP是2000:100:100:100:9a7e:bead:f22c:9640，而2000:100:100:100::/64是集群內部的ipv6網段，可以確定ipv6的請求從Pod所在宿主機出來時沒有進行SNAT轉換。

2 增加SNAT的iptables策略

這里采用了一種比較簡單的解決方案，最終方案應該通過集群的cni配置解決。

為所有的宿主機添加iptables策略：

ip6tables -t nat -A POSTROUTING -s 2000:100:100:100::/64 -o eth0 -j SNAT --to-source FC00:0:130F::9C0:876A:130B

復制

參數	說明
-s	要處理的源IP段
-o	規則綁定的接口
--to-source	替換的IP（本機IP）

增加iptables策略后服務就可以訪問了。

一些彎路

最初在服務所在主機上通過增加靜態路由的方式也可以臨時性達到目的：

ip -6 route add 2000:100:100:100::/64 via FC00:0:130F::9C0:876A:130B

復制

相當于把Pod所在宿主機作為Pod內部網段的網關，這樣可以臨時解決問題，當時由于Pod會在集群的Node上漂移，所以這不是一個好的方法。