12月技术周 | DVR 原理深入分析


一、DVR实验环境


一套vlan模式的openstack环境,interface_driver使用openvswitch,并在计算节点添加br-ex,用于计算节点虚拟机出外网。


二、DVR配置


1、控制节点


a、编辑/etc/neutron/neutron.conf

[DEFAULT]

router_distributed = True


b、重启neutron-server服务


2、网络节点


a、编辑/etc/neutron/l3_agent.ini

[DEFAULT]

agent_mode = dvr_snat


b、编辑

/etc/neutron/plugins/ml2/openvswitch_agent.ini

[agent]

enable_distributed_routing = True


c、重启neutron-l3-agent和neutron-openvswitch-agent服务


3、计算节点


a、编辑/etc/sysctl.conf

net.ipv4.ip_forward=1

net.ipv4.conf.all.rp_filter = 0

net.ipv4.conf.default.rp_filter = 0


b、执行命令sysctl –p


c、编辑/etc/neutron/l3_agent.ini

[DEFAULT]

interface_driver=neutron.agent.linux.interface.OVSInterfaceDriver

external_network_bridge =

agent_mode = dvr


d、编辑

/etc/neutron/plugins/ml2/openvswitch_agent.ini

[agent]

enable_distributed_routing = True


e、重启neutron-l3-agent和neutron-openvswitch-agent服务


三、启用dhcp实现metadata功能


1、默认情况下,metadata功能通过l3实现,在dvr模式下,如果使用l3实现的话,需要额外配置metadata agent,为了简化,该实验启用dhcp agent来实现metadata功能。


a、在网络节点上编辑/etc/neutron/dhcp_agent.ini

[DEFAULT]

force_metadata = True


b、重启neutron-dhcp-agent服务。


四、DVR到网关流表分析


1、创建router,关联到test1网络(网关192.168.1.1),并在test1网络内创建instance(192.168.1.9),网络模型如下:


12月技术周 | DVR 原理深入分析


执行上述操作之后,neutron会在网络节点和计算节点(有instance运行)上都创建一个router的namespace,且配置完全一样。


也就是说,平台中会出现多个相同的router namespace,那么neutron如何实现虚拟机到网关的流量只到本地的router namespace呢?答案是flow table


2、举个例子:


a、在test1内ping网关(192.168.1.1),虚拟机会先发送arp请求去学习网关的mac地址,arp报文会从qvo-xxx端口进入br-int的table0,匹配arp和in_port,根据流表项,resubmit到table24。


b、在table24中匹配arp、in_port和arp_spa,命中之后,resubmit到table25。


c、在table25中匹配in_port和dl_src,命中之后,resubmit到table60。


d、在table60中,命中table-miss flow entry,根据action执行NORMAL。


e、网关地址是配置在router namespace中的qr-xxx上,而qr-xxx是br-int上的。


端口,所以qr-xxx会收到arp请求,并进行相应,arp相应报文会从qr-xxx端口再次进入br-int table0,命中table-miss flow entry,从而进行NORMAL转发,将报文转发给虚拟机的qvo-xxx。


f、虚拟机学到网关的mac地址之后,将icmp报文通过流表,转发给网关,ping流程完成。


3、现在分析neutron如何通过flow table 实现虚拟机到网关的流量只到本地的router namespace。


在上述的d步骤中,命中table-miss flow entry,根据action执行NORMAL,报文可能通过正常转发,到达br-vlan。


a、报文到达br-vlan后,会进入table=0,匹配in_port,命中后,resubmit到table1


b、在table1中,匹配dl_vlan、arp_tpa(arp报文)或者dl_dst,从而把到网关的报文,全部drop。


c、通过上述流表,保证到达网关的报文全部终结在宿主机本地。


五、虚拟机内网通信分析


DVR模式下,虚拟机的内网通信一般有四种场景:同网络同宿主机,同网络不同宿主机,不同网络同宿主机,不同网络不同宿主机,下面将对这四种场景逐一进行分析:


1、同网络同宿主机,不需要通过router,实验模型如下


12月技术周 | DVR 原理深入分析


test1和test2运行在同一台宿主上,执行test1 ping test2。


a、test1通过arp学习到test2的mac地址,流表匹配过程和步骤4(DVR到网关流表分析)中arp学习相同,然后封装icmp报文,从qvo-xxx port进入br-int的table0,匹配in_port,命中后,resubmit到table25。


b、在table25中,匹配in_port和dl_src,命中后,resubmit到table60。


c、在table60,命中table-miss,执行NORMAL转发。


d、test2的qvo-yyy port也在br-int上,报文通过qvo-yyy发送到test2,test2回包给test流程和test1到test2相同。ping流程结束。


2、同网络不同宿主机,不需要router,实验模型如下:


12月技术周 | DVR 原理深入分析


test1和test2运行在不同宿主上,执行test1 ping test2。


此场景下,步骤a,b,c和同网络同宿主机场景步骤完全相同,报文会在br-int的table60执行NORMAL,此处不再赘述。


d、执行NORMAL后,报文会从phy-br-vlan port进入br-vlan的table0,匹配in_port,命中后,resubmit到table1。


e、在table1中,命中table-miss,resubmit table2。


f、在table2中,匹配in_port和dl_vlan,命中后,修改local vlan 1为全局vlan 196,然后执行NORMAL,此时报文会离开宿主机,从业务口发出去。


g、报文会被送到运行test2的宿主机业务口,然后进入br-vlan的table0,命中后,resubmit到table3。


h、在table3中,命中后,执行NORMAL,报文被送到br-int。


i、在br-int的table0中,匹配in_port和dl_vlan,命中后,修改全局vlan 196 为local vlan 1,然后执行NORMAL,报文会从qvo-yyy进入虚拟机test2。


j、test2回包和test1发包过程相同,至此,ping操作完成。


3、不同网络同宿主机,需要router,实验模型如下:


12月技术周 | DVR 原理深入分析


创建router分别连接两个网络,每个网络上个各创建一台instance,执行上述操作之后,neutron会在网络节点和计算节点(有instance运行)上都创建一个router的namespace,且配置完全一样,qr-设备会被配置上对应网关ip地址。


test1和test2运行在同宿主上,执行test1 ping test2。


a、test1 通过计算知道要到达test2需要走三层,它会先发arp请求,学习网关的mac地址,然后封装icmp报文(目的ip是test2的ip,目的mac是网关的mac地址),通过默认路由,将报文送到本地的router namespace。

(学习网关过程中匹配流表的过程请参考 <4、DVR到网关流表分析>章节)。


b、报文从qr-test1进入router的PREROUTING链,然后查找到test2的路由,命中之后,进入POSTROUTING链,并从qr-test2重新进入br-int的table0。


c、在table0中,命中table-miss,resubmit到table60。


d、在table60中,命中后,执行NORMAL,将报文从qvo-xxx送到test2。


e、test2回包的过程和test1发包过程相同,至此,ping操作完成。


4、不同网络不同宿主机,需要router,实验模型如下:


12月技术周 | DVR 原理深入分析


test1和test2运行在不同宿主上,执行test1 ping test2。


此场景下,步骤a,b,c和不同网络同宿主机场景步骤完全相同,

报文从qr-test2出来之后,在br-int的table60执行NORMAL,此处不再赘述。


d、在c中执行NORMAL之后,报文通过int-br-vlan port进入br-vlan的table0。


e、在table0中,匹配in_port,命中之后,resubmit到table1。


f、在table1中,匹配dl_vlan和dl_src,命中之后,修改源mac地址为neutron分配给宿主机mac,resubmit到table2。


注:开启DVR之后,neutron会给每个compute节点分配一个唯一的mac地址,避免物理交换机出现mac地址冲突的问题。


g、在table2中,匹配in_port和dl_vlan,命中之后,修改local vlan 2为全局

vlan 148,执行NORMAL,此时报文会从业务口eth1离开宿主机。


h、报文会进入运行test2的宿主机的业务口eth1进入br-vlan的table0。


i、在table0中,命中之后,resubmit到table3。


j、在table3中,匹配dl_src(neutron分配给宿主机的mac),将报文从phy-br-vlan送出给br-int table0。


k、在br-int的table0中,匹配in_port和dl_src(neturon分配给宿主机的mac),resubmit给table2。


l、在table2中,匹配dl_vlan和dl_dst,修改源mac为test2网关的mac,resubmit到table60。


m、在table60中,匹配dl_vlan和dl_dst ,剥去vlan,通过output将报文直接送到test2。


n、test2回包的过程和test1发包过程相同,至此,ping操作完成。


六、虚拟机出外网原理分析


1、创建一个router,并绑定内部网络test1,设置路由器的网关外网为external,在内网,外网上各创建一台虚拟机,用于测试,实验模型如下:


12月技术周 | DVR 原理深入分析


执行上述操作之后,neutron会在网络节点创建三个namespace:qrouter-xxx、fip-yyy、snat-xxx。


计算节点(instance运行)创建qrouter-xxx、fip-yyy。


ps:各节点的namespace会在接下来的分析中说明其作用。


2、虚拟机test1的报文被送到本宿主机router namespace的qr-xxx设备上(上述已经说明,此处不再赘述),进入PREROUTING链(未命中,不做任何修改),查看策略路由,使用默认路由准备进行转发,然后进入POSTROUTING链(未命中),报文从qr-xxx发出,送往192.168.1.11进行处理(流表全部命中NORMAL)。


3、可能有人会有疑问,这里的192.168.1.11是啥?


事实上这个ip地址是neutron分配给snap-yyy namespace的一个ip,被配置在sg-zzz上,snap-yyy namespace在网络节点上,neutron通过策略路由和sg-zzz port将计算节点router namespace中的报文,转发到网络节点的snat-yyy中。


4、此时报文到达网络节点的snat-yyy namespace中的sg-zzz port上,在路由之前报文会进入PREROUTING链(未命中),然后查找路由。


随后进入POSTROUTING链,进行snat,并做连接跟踪,之后报文进行转发。


5、经过上述操作,虚拟机通过snat-yyy中的qg-设备出外网,通过连接跟踪返回(流表命中NORMAL)。


七、Floating ip原理分析


1、在章节6的基础上,从外网分配一个floating ip(10.100.0.7),并关联到虚拟机test1(192.168.1.9)上,并需要自行配置br-ex,用于虚拟机出外网,实验模型如下:


12月技术周 | DVR 原理深入分析


执行上述操作之后,neutron会在对应的namespace里面添加若干策略,下面的分析中会逐一说明:


1、虚拟机test1的报文被送到本宿主机router namespace的qr-xxx设备上(上述已经说明,此处不再赘述),进入PREROUTING链(未命中,不做任何修改),查看策略路由。


通过策略路由,将报文通过rfp-6347c62b-2转发给169.254.109.47处理,随后进入POSTROUTING链,做snat修改。


2、到这里,大家可能会有一个疑问,这个rfp-6347c62b-2设备是啥?

事实上这个是veth pair的一端,它的另一端在fip-xxx namespace里面


neutron 使用这对veth pair,将报文从router的namespace里面,通过策略路由,转发到fip-yyy的namespace里。


3、至此,报文到达fip-yyy namespace,进入PREROUTING链(未命中),查看路由。


再进入POSTROUTING链(未命中),从而将报文从fg-7ec56cee-b5设备转发到外网。


4、至此,报文顺利从fg port发送到外网(流表命中NORMAL)。


5、现在开始分析外网设备通过floating ip进入虚拟机的情况。


假设存在一台外网设备external(10.100.0.14)去ping floating ip(10.100.0.7),外网设备首先会通过arp学习10.100.0.7的mac地址,而上述描述中,neutron并没有配置10.100.0.7的ip地址在任何设备上,也就是说,10.100.0.7并不存在,那报文是如何准确的送到fg口的呢?


事实上,neutron在fg port上开启了arp_haproxy功能,相当于进行了arp欺骗,这样,外网设备就将fg的mac地址学习成10.100.0.7的mac,并更新到自己的mac表中。


6、外网报文到达fg口之后,进入PREROUTING链(未命中),查看route表,准备将目的ip为floating ip的报文从fpr-6347c62b-2发送169.254.109.46。


随后进入POSTROUTING链(未命中),报文转发到router的namespace中。


7、报文到达router的namespace中的rfp-6347c62b-2设备,进入PREROUTING链,进行dnat操作。将目的ip从floating ip转换成内部fix ip(192.168.1.9)


随后查看route,准备将报文从qr-xxx port转发。


然后进入POSTROUTING链(未命中),将报文从qr- port转发到虚拟机test1。


8、至此,实现外网设备到内部ip的转发完成。


关于九州云99Cloud

九州云成立于2012年,是中国早期从事OpenStack和相关开源服务的专业公司。公司成立六年,秉承“开源 · 赋能变革”的理念,不断夯实自身实力,已实现业务从核心云到边缘云再到垂直行业应用的拓展和积累,先后为政府、金融、运营商、能源、制造业、商业、交通、物流、教育、医疗等各大行业的企业级客户提供高质量的云计算服务。目前拥有国家电网、中国人民银行、中国银联、中国移动、中国电信、中国联通、中国资源卫星、eBay、国际陆港集团、中国人寿、万达信息、东风汽车、诺基亚等众多重量级客户,被用户认可为开源界的领军企业。

12月技术周 | DVR 原理深入分析