乐趣区

ovn通过宿主机出网方案

jiezi

当前网络架构

物理环境：master01(172.31.133.26)，node01(172.31.133.27)，node02(172.31.133.28)

逻辑网络：一个逻辑路由器 test3-router0，连接三个逻辑交换机 test3-bridge0，test3-bridge1，test3-bridge2。每个交换机上有一个端口，连接上 pod 或者 vm。如下：

ovn-nbctl show

switch 679c8a34-5f60-42a8-91a3-5f727e41e2af (test3-bridge1)
    port test3-bridge1-test3-vm1
        addresses: ["dynamic"]
    port test3-bridge1-test3-router0
        type: router
        router-port: test3-router0-test3-bridge1
switch 7124d3c4-950a-4f4a-9733-db7f204a96c4 (test3-bridge2)
    port test3-bridge2-test3-router0
        type: router
        router-port: test3-router0-test3-bridge2
    port test3-bridge2-test3-vm2
        addresses: ["dynamic"]
switch 05b72423-5db2-4279-8b5f-5f4b5e8c1408 (test3-bridge0)
    port test3-bridge0-test3-router0
        type: router
        router-port: test3-router0-test3-bridge0
    port test3-bridge0-test3-vm0
        addresses: ["dynamic"]
router a96ea502-72df-41a2-ac27-0271e60661d2 (test3-router0)
    port test3-router0-test3-bridge1
        mac: "04:ac:10:ff:34:01"
        networks: ["172.66.2.10/24"]
    port test3-router0-test3-bridge0
        mac: "04:ac:10:ff:34:00"
        networks: ["172.66.1.10/24"]
    port test3-router0-test3-bridge2
        mac: "04:ac:10:ff:34:02"
        networks: ["172.66.3.10/24"]

ovs-vsctl show (node02 上)

1bd24d64-5b67-4497-b972-5789ba8d4fa7
    Bridge br-int
        fail_mode: secure
        Port "qtest3vm0mqm5g"
            Interface "qtest3vm0mqm5g"
        Port "ovn-aa8648-0"
            Interface "ovn-aa8648-0"
                type: geneve
                options: {csum="true", key=flow, remote_ip="172.31.133.27"}
        Port br-int
            Interface br-int
                type: internal
        Port "ovn-1800fb-0"
            Interface "ovn-1800fb-0"
                type: geneve
                options: {csum="true", key=flow, remote_ip="172.31.133.26"}
    ovs_version: "2.11.2"

ovn 出网

相对物理网络
在集群每个节点的 ovs 网桥 br-int 上添加一个端口 ovn0，通过路由规则，将 ovn0 作为外部流量进入 ovn 网络的入口。

逻辑网络
添加逻辑交换机 join，将各个节点的 ovn0 流量关联到交换机 join 的逻辑端口。然后将交换机连到逻辑路由器 test3-router0 上，组成连通的 ovn 逻辑网络

组网

创建逻辑交换机 jion，并连上逻辑路由器 test3-router0。

# 创建逻辑交换机 jion
ovn-nbctl ls-add join

# 关联逻辑路由器 test3-router0
ovn-nbctl lrp-add test3-router0 test3-router0-join 04:ac:10:ff:35:02 172.66.4.10/24
ovn-nbctl lsp-add join join-test3-router0 
ovn-nbctl lsp-set-type  join-test3-router0  router
ovn-nbctl lsp-set-addresses  join-test3-router0  04:ac:10:ff:35:02
ovn-nbctl lsp-set-options  join-test3-router0  router-port=test3-router0-join

# 删除端口
# ovn-nbctl lrp-del test3-router0-jion
# ovn-nbctl lsp-del join-test3-router0

为逻辑交换机 jion 添加端口

添加 port
ovn-nbctl lsp-add join master01
ovn-nbctl lsp-set-addresses  master01    "04:ac:10:ff:35:04 172.66.4.1"

ovn-nbctl lsp-add join node01
ovn-nbctl lsp-set-addresses  node01    "04:ac:10:ff:35:05 172.66.4.2"

ovn-nbctl lsp-add join node02
ovn-nbctl lsp-set-addresses  node02    "04:ac:10:ff:35:06 172.66.4.3"

# 删除 port
# ovn-nbctl lsp-del master01
# ovn-nbctl lsp-del node01
# ovn-nbctl lsp-del node02

关联逻辑端口(在每个节点上执行)，并设置 mac 和 ip

# 在 master01 上
ovs-vsctl add-port br-int ovn0 -- set Interface ovn0 type=internal
ovs-vsctl set Interface ovn0  external_ids:iface-id=master01
ifconfig ovn0 172.66.4.1  netmask 255.255.255.0
ifconfig ovn0 hw ether 04:ac:10:ff:35:04

# 在 node01 上
ovs-vsctl add-port br-int ovn0 -- set Interface ovn0 type=internal
ovs-vsctl set Interface ovn0  external_ids:iface-id=node01
ifconfig ovn0 172.66.4.2  netmask 255.255.255.0
ifconfig ovn0 hw ether 04:ac:10:ff:35:05

# 在 node02 上
ovs-vsctl add-port br-int ovn0 -- set Interface ovn0 type=internal
ovs-vsctl set Interface ovn0  external_ids:iface-id=node02
ifconfig ovn0 172.66.4.3  netmask 255.255.255.0
ifconfig ovn0 hw ether 04:ac:10:ff:35:06

添加 route

现在有三个用户交换机 test3-bridge0(172.66.1.10/24)，test3-bridge1(172.66.2.10/24)，test3-bridge2(172.66.3.10/24)，也就是三个网段需要出网

添加宿主机路由

# 需要在每个节点上执行
# 在 node01 上，（node02 master01 上同样操作）route add -net 172.66.1.0/24 gw 172.66.4.10
route add -net 172.66.2.0/24 gw 172.66.4.10
route add -net 172.66.3.0/24 gw 172.66.4.10

添加 ovn 虚拟路由器 test3-router0 路由

# 添加后宿主机可以 ping 通容器内 ip 
ovn-nbctl   lr-route-add  test3-router0   172.31.133.27  172.66.4.2
ovn-nbctl   lr-route-add  test3-router0   172.31.133.28  172.66.4.3
ovn-nbctl   lr-route-add  test3-router0   172.31.133.26  172.66.4.1

展示

[root@master01 /]# ovn-nbctl   lr-route-list test3-router0
IPv4 Routes
            172.31.133.26                172.66.4.1 dst-ip
            172.31.133.27                172.66.4.2 dst-ip
            172.31.133.28                172.66.4.3 dst-ip

上面的操作执行后，容器和宿主机可以互通。如果想要出公网，还需要添加如下路由：

添加 ovn 虚拟路由器 test3-router0 路由

ovn-nbctl  --policy=src-ip lr-route-add  test3-router0   172.66.1.12 172.66.4.3
ovn-nbctl  --policy=src-ip lr-route-add  test3-router0   172.66.3.12 172.66.4.2
ovn-nbctl  --policy=src-ip lr-route-add  test3-router0   172.66.2.12 172.66.4.3

展示

[root@master01 /]# ovn-nbctl   lr-route-list test3-router0
IPv4 Routes
            172.31.133.26                172.66.4.1 dst-ip
            172.31.133.27                172.66.4.2 dst-ip
            172.31.133.28                172.66.4.3 dst-ip
              172.66.1.12                172.66.4.3 src-ip
              172.66.2.12                172.66.4.3 src-ip
              172.66.3.12                172.66.4.2 src-ip

添加 snat

在每个节点上执行
> iptables -t nat -A POSTROUTING -s 172.66.3.0/24 -o bond0.1331  -j MASQUERADE
> iptables -t nat -A POSTROUTING -s 172.66.1.0/24 -o bond0.1331  -j MASQUERADE
> iptables -t nat -A POSTROUTING -s 172.66.2.0/24 -o bond0.1331  -j MASQUERADE

测试
我这边逻辑交换机上连的是容器化的虚机

[root@master01 ovn]# virtctl console test3-vm1
[root@test3-vm1 ~]# ping 14.215.177.39
PING 14.215.177.39 (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39: icmp_seq=1 ttl=49 time=28.0 ms
64 bytes from 14.215.177.39: icmp_seq=2 ttl=49 time=25.9 ms
 
--- 14.215.177.39 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 25.943/26.989/28.036/1.059 ms

打完收工

退出移动版