Centos下双网卡绑定技术实现负载均衡和失效保护

浏览次数:2741 关键词 ( 绑定  负载均衡  双网卡  技术  )

Linux下双网卡绑定技术实现负载均衡和失效保护(在Centos5和Centos6通用)
    保持服务器的高可用性是企业级 IT 环境的重要因素。其中最重要的一点是服务器网络连接的高可用性。网卡(NIC)绑定技术有助于保证高可用性特性并提供其它优势以提高网络性能。 
    我们在这介绍的Linux双网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在,被称为Trunking和Etherchannel技术,在Linux的2.4.x的内核中也采用这这种技术,被称为bonding。bonding技术的最早应用是在集群——beowulf上,为了提高集群节点间的数据传输而设计的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道,在正常情况下,网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧,对于别的数据帧都滤掉,以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式,可以接收网络上所有的帧,比如说tcpdump,就是运行在这个模式下。bonding也运行在这个模式下,而且修改了驱动程序中的mac地址,将两块网卡的Mac地址改成相同,可以接收特定mac的数据帧,然后把相应的数据帧传送给bond驱动程序处理。  
    说了半天理论,其实配置很简单,一共四个步骤: 
实验的操作系统是Redhat Linux Enterprise 3.0 
绑定的前提条件:芯片组型号相同,而且网卡应该具备自己独立的BIOS芯片 

    双网卡绑定的拓朴图(见下图) 


1.编辑虚拟网络接口配置文件,指定网卡IP 
vi /etc/sysconfig/network-scripts/ifcfg-bond0  
[root@rhas-13 root]# cp  /etc/sysconfig/network-scripts/ifcfg-eth0 ifcfg-bond0 

2 #vi ifcfg-bond0 DEVICE=bond0 
BOOTPROTO=static 
IPADDR=172.31.0.13 
NETMASK=255.255.252.0 
BROADCAST=172.31.3.254 
ONBOOT=yes 
TYPE=Ethernet 这里要注意,不要指定单个网卡的IP 地址、子网掩码或网卡 ID。将上述信息指定到虚拟适配器(bond0)中即可。 
[root@rhas-13 network-scripts]# vi ifcfg-eth0 DEVICE=eth0 
ONBOOT=yes 
BOOTPROTO=none
MASTER=bond0
SLAVE=yes [root@rhas-13 network-scripts]# vi ifcfg-eth1 DEVICE=eth1
ONBOOT=yes 
BOOTPROTO=none
MASTER=bond0
SLAVE=yes 3 # vi /etc/modprobe.conf  
编辑 /etc/modprobe.conf 文件,加入如下一行内容,以使系统在启动时加载bonding模块,对外虚拟网络接口设备为 bond0  
加入下列两行 alias bond0 bonding  
options bond0 mode=0 miimon=250 use_carrier=1 updelay=500 downdelay=500 说明:miimon是用来进行链路监测的。 比如:miimon=100,那么系统每100ms监测一次链路连接状态,如果有一条线路不通就转入另一条线路;mode的值表示工作模式,他共有0,1,2,3等四种模式,常用的为0,1两种。 
   mode=0表示load balancing (round-robin)为负载均衡方式,两块网卡都工作。 
   mode=1表示fault-tolerance (active-backup)提供冗余功能,工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份。
bonding只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换机对外的链路down掉了,而交换机本身并没有故障,那么bonding会认为链路没有问题而继续使用 

到这时已经配置完毕,重启服务即可

service network restart

重启会看见以下信息就表示配置成功了 
...............。 
Bringing up interface bond0 OK  
Bringing up interface eth0 OK  
Bringing up interface eth1 OK  
...............。

下面我们讨论以下mode分别为0,1时的情况 

mode=1工作在主备模式下,这时eth1作为备份网卡是no arp的 
[root@rhas-13 network-scripts]# ifconfig  验证网卡的配置信息 
bond0     Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1 
          RX packets:18495 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:480 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:0 
          RX bytes:1587253 (1.5 Mb)  TX bytes:89642 (87.5 Kb) 
  
eth0      Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1 
          RX packets:9572 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:480 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:1000 
          RX bytes:833514 (813.9 Kb)  TX bytes:89642 (87.5 Kb) 
          Interrupt:11 
  
eth1      Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING NOARP SLAVE MULTICAST  MTU:1500  Metric:1 
          RX packets:8923 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:1000 
          RX bytes:753739 (736.0 Kb)  TX bytes:0 (0.0 b) 
          Interrupt:15 
    那也就是说在主备模式下,当一个网络接口失效时(例如主交换机掉电等),不会出现网络中断,系统会按照cat /etc/rc.d/rc.local里指定的网卡顺序工作,机器仍能对外服务,起到了失效保护的功能。

在mode=0    负载均衡工作模式,他能提供两倍的带宽,下面我们来看一下网卡的配置信息 
[root@rhas-13 root]# ifconfig 
bond0     Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1 
          RX packets:2817 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:95 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:0 
          RX bytes:226957 (221.6 Kb)  TX bytes:15266 (14.9 Kb) 
  
eth0      Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1 
          RX packets:1406 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:48 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:1000 
          RX bytes:113967 (111.2 Kb)  TX bytes:7268 (7.0 Kb) 
          Interrupt:11 
  
eth1      Link encap:Ethernet  HWaddr 00:0E:7F:25:D9:8B 
          inet addr:172.31.0.13  Bcast:172.31.3.255  Mask:255.255.252.0 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1 
          RX packets:1411 errors:0 dropped:0 overruns:0 frame:0 
          TX packets:47 errors:0 dropped:0 overruns:0 carrier:0 
          collisions:0 txqueuelen:1000 
          RX bytes:112990 (110.3 Kb)  TX bytes:7998 (7.8 Kb) 
          Interrupt:15 

    在这种情况下出现一块网卡失效,仅仅会是服务器出口带宽下降,也不会影响网络使用。


    通过查看bond0的工作状态查询能详细的掌握bonding的工作状态 
[root@rhas-13 bonding]# cat /proc/net/bonding/bond0 
bonding.c:v2.4.1 (September 15, 2003) 
  
Bonding Mode: load balancing (round-robin) 
MII Status: up 
MII Polling Interval (ms): 0 
Up Delay (ms): 0 
Down Delay (ms): 0 
Multicast Mode: all slaves 
  
Slave Interface: eth1 
MII Status: up 
Link Failure Count: 0 
Permanent HW addr: 00:0e:7f:25:d9:8a 
  
Slave Interface: eth0 
MII Status: up 
Link Failure Count: 0 
Permanent HW addr: 00:0e:7f:25:d9:8b 

    Linux下通过网卡绑定技术既增加了服务器的可靠性,又增加了可用网络带宽,为用户提供不间断的关键服务。

前面只是2个网口绑定成一个bond0的情况,如果我们要设置多个bond口,比如物理网口eth0和eth1组成bond0,eth2和eth3组成bond1,

那么网口设置文件的设置方法和上面第1步讲的方法相同,只是/etc/modprobe.d/bonding.conf的设定就不能像下面这样简单的叠加了:

alias bond0 bonding

options bonding mode=1 miimon=200

alias bond1 bonding

options bonding mode=1 miimon=200

正确的设置方法有2种:

第一种,你可以看到,这种方式的话,多个bond口的模式就只能设成相同的了:

alias bond0 bonding

alias bond1 bonding

options bonding max_bonds=2 miimon=200 mode=1

第二种,这种方式,不同的bond口的mode可以设成不一样:

alias bond0 bonding

options bond0 miimon=100 mode=1

install bond1 /sbin/modprobe bonding -o bond1 miimon=200 mode=0

仔细看看上面这2种设置方法,现在如果是要设置3个,4个,甚至更多的bond口,你应该也会了吧!

后记:简单的介绍一下上面在加载bonding模块的时候,options里的一些参数的含义:

miimon      监视网络链接的频度,单位是毫秒,我们设置的是200毫秒。

max_bonds   配置的bond口个数

mode        bond模式,主要有以下几种,在一般的实际应用中,0和1用的比较多,

           如果你要深入了解这些模式各自的特点就需要靠读者你自己去查资料并做实践了。

           0或balance-rr         轮转策略,提供负载均衡和耐故障功能,按顺序轮流把包发给包含在bond口内的网口。

           1或active-backup      主备策略,提供高耐故障功能,逻辑简单,一个处于激活状态,一个失败,另外一个自动激活。

           2或balance-xor        XOR策略,提供负载均衡和耐故障功能。

           3或broadcast          广播策略,耐故障功能。把数据以广播的方式,发给包含在该bond口内的所有网口。

           4或802.3ad            IEEE 802.3ad动态链接集合。

           5或balance-tlb        自动适应传输负载均衡策略。

           6或balance-alb        自动适应负载均衡策略。