FreeBSD6.1 +CARP+IPVS双机热备份负载均衡

我爱典典

超级版主

Rank: 8 Rank: 8

老板马甲

UID: 2
帖子: 125
精华: 3
威望: -3
金币: 123
原创: 0
宣传: 10791
阅读权限: 200
在线时间: 97 小时
最后登录: 2008-10-12

宣传大使奖至尊超版宣传之星

楼主大中小发表于 2006-12-4 08:43 只看该作者

FreeBSD6.1 +CARP+IPVS双机热备份负载均衡

FreeBSD6.1 +CARP+IPVS双机热备份负载均衡 : J8 ]" T& {3 z: I: u5 g" M
作者 @kang 7 c9 A( v, J# I3 _! w

经过一个星期的找资料….测试….找资料….再测试……，终于测试成功Freebsd6.1+IPVS+CARP，实现双机热备份和负载均衡功能。其中：
IPVS: 实现负载均衡功能 , {- g- v1 p  C) V9 d$ v
CARP: 实现双机热备份

一系统环境

FreeBSD 6.1 Release 最小化安装(完全安装也可以) ＋ Kernel Source (ALL) ' v7 E- g- L& A. x7 C# X0 @, ]

SRV01 192.168.2.133 255.255.255.0 (双机热备主)
SRV02 192.168.2.130 255.255.255.0 (双机热备辅)   G* }: x9 q( F/ P0 s) p7 o4 G
Share IP 192.168.2.144 255.255.255.0 (主辅机器共享) # L+ [5 ?! s* @, r0 p" M9 U; H8 c( E

二安装过程 , p) w" s/ f" `6 y
. Z+ m9 _9 }4 o' b. N1 |) v
a.在核心配置文件中添加对CARP的支持和options NF_SOCKOPT(ipvs需要) 选项 ! Q3 }* F- l" s6 k; H8 R: K
Srv01# cd /usr/src/sys/i386/conf/ 8 `# ~% v3 O% I9 N3 M# f
Srv01# cp GENERIC LVS
Srv01# vi LVS   r: V% h8 ?! x, \. b( I% U- W' M
添加以下选项：
options NF_SOCKOPT + D+ i% o% w/ M4 k0 r+ q
device carp 8 S! E* n; A( i& t! \6 O

b. Freebsd6.1 的uipc_socket.c中没有#include "opt_nfsockopt.h" ,需手动添加否则编译将出错。
vi /usr/src/sys/kern/uipc_socket.c
找到#include "opt_compat.h"这一行,在下面加上 #include "opt_nfsockopt.h"

c. 打ipvs for freebsd6.1补丁(patch)。 - [$ [# j0 ~& k0 i* f
Srv01# cd /usr/ports/net/ipvs + I+ G, E9 V5 h( f2 u
Srv01# make patch-system #具体说明可以查看当前目录下的Makefile
) i: q' l" a- ^: T
d. 编译核心
Srv01# cd /usr/src/sys/i386/conf
Srv01# config LVS 4 u8 G) c: R* l* a
Srv01# cd ../compile/LVS 4 B) O& L4 {3 R* W* c
Srv01# make depend
Srv01# make . h" i& s& U# i7 y$ S
Srv01# make install 5 ^' }; [! ^4 i- U$ y1 @
Srv01# reboot

以上操作在srv02上同样做一遍
' ^4 k% X+ C  n7 [( @0 B
三具体配置 / N; s$ s. M& `4 @! v! e9 b3 y

CARP 部分 (如果只需双机备份功能只配这部分就可以了) , f5 a6 L8 Q  m* T2 H% K2 O% }
SRV01
srv01# sysctl net.inet.carp.preempt=1 & ]: O2 u5 @9 N0 R3 {
srv01# ifconfig carp0 create 9 u$ M& s. s2 R% [% }
srv01# ifconfig carp0 vhid 1 pass password 192.168.2.144/24 up #password随便输入，但srv01和srv02必需一致。 & N. c3 M( L4 C: c
SRV02 - X( {$ \" ?2 G1 |' [3 A8 n) y0 ]2 ^
srv02# sysctl net.inet.carp.preempt=1 4 h! A) V* M" K3 V9 t8 u& k
srv02# ifconfig carp0 create
srv02# ifconfig carp0 vhid 1 advskew 100 pass yourpassword 192.168.2.144/24 up % ^! Z' d) n$ Z$ j5 H

IPVS 部分   H6 }8 Y" Q. E- D' T  \

srv01# kldload /boot/modules/ipvs.ko : S! \3 l! {/ ]0 f8 T- u/ ]% P
srv01# kldload /boot/modules/rr/ip_vs_rr.ko
srv01# ipvsadm –A –t 192.168.2.144:80 -s rr 2 p( V2 t+ @# N1 p  ^
srv01# ipvsadm -a -t 192.168.2.144:80 -r 192.168.2.133:80 -g 7 q4 p6 H; V0 V4 l, g
srv01# ipvsadm -a -t 192.168.2.144:80 -r 192.168.1.130:80 –g ) ~0 E6 F' p3 g' f2 A& t# R

srv01# ipvsadm –A –t 192.168.2.144:22 -s rr
srv01# ipvsadm -a -t 192.168.2.144:22 -r 192.168.2.133:22 -g $ j0 ?! e6 f* d2 N. c
srv01# ipvsadm -a -t 192.168.2.144:22 -r 192.168.1.130:22 -g
这里我只测试了http(80)和ssh(22)服务，其它的服务配置方法一样。 9 N0 N5 Y6 W1 Y; e% D0 G" x

以上操作在srv02上同样做一遍

清除 IPVS配置命令如下： ; u  l% l) q) t2 |
: M& c5 ~' a2 n8 y- y9 k* U8 I
srv01# ./ipvsadm -C . p/ H- }5 b% X. ?) l$ ?
srv01# kldunload ip_vs_rr
srv01# kldunload ipvs 0 s- _4 [, N$ A' g4 ]9 L. J
3 l5 H% P; n' Y* e6 I; e  P8 b

四测试
Srv01# ifconfig / S3 \; r9 V, p3 d% W2 w/ M

sk0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> mtu 1500
options=8<VLAN_MTU>
inet6 fe80::217:31ff:fe62:be1b%sk0 prefixlen 64 scopeid 0x1 2 Y% I1 o( [3 v5 V1 B$ O4 L$ ]
inet 192.168.2.133 netmask 0xffffff00 broadcast 192.168.2.255
ether 00:17:31:62:be:1b
media: Ethernet autoselect (100baseTX <full-duplex,flag0,flag1>) , A9 D* M$ u7 R" [# A/ i
status: active 0 C% T  w0 o1 P, U+ S* m
plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> mtu 1500
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384 * c/ @& d( I1 ~" r5 Z* A# F
inet6 ::1 prefixlen 128 # [3 h- B( ]  Y5 t8 m  G4 Q# c
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000 / k7 d9 i6 k5 `7 `" ]3 q5 n; L% @4 v
carp0: flags=49<UP,LOOPBACK,RUNNING> mtu 1500
inet 192.168.2.144 netmask 0xffffff00
carp: MASTER vhid 1 advbase 1 advskew 0 / V2 t3 L/ t: g6 q- Z2 Q% S
$ U; A2 W  b. o* j7 L
Srv02# ifconfig , A8 E% l! i0 r! G( Q9 ^* f

rl0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> mtu 1500
options=8<VLAN_MTU>
inet6 fe80::217:31ff:fe62:be1b%sk0 prefixlen 64 scopeid 0x1 7 U% G0 ^' C4 p0 i9 L; e
inet 192.168.2.130 netmask 0xffffff00 broadcast 192.168.2.255
ether 00:17:31:62:be:1b
media: Ethernet autoselect (100baseTX <full-duplex,flag0,flag1>) ; X8 g, X4 l6 I- G5 J
status: active
plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> mtu 1500 7 C, J  n* z/ y
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000
carp0: flags=49<UP,LOOPBACK,RUNNING> mtu 1500
inet 192.168.2.144 netmask 0xffffff00 & Z% U4 {& Y5 h  t3 o( p
carp: BACKUP vhid 1 advbase 1 advskew 100 . l/ E& |5 F+ h
从ifconfig结果可以看到srv01 为master，srv02为backup.

IPVS 测试 5 x: M) X) L1 w! Q! S1 A
6 m4 z5 v: \% v1 W  r2 b' B
客户端访问 http://192.168.2.144 时,不停刷新web页面时，web页面会在srv01,srv02上切换(为使切换效果明显srv01,srv02用内容不同的主页),说明负载均衡功能已成功。
客户端访问 192.168.2.144:22 (ssh) 每次连接一台不同Server(srv01,srv02)。 ( u* z% J. k8 ^. h/ [
6 P3 R% u! s. \+ h  R
CARP 测试
4 q( v. x0 w; ]- {/ r4 T
用ssh 到 192.168.2.144 可以看到主机名应为 srv01 。 7 E$ U7 I4 l  V( ~$ |( B
在客户端上ping 192.168.2.144 –t 拔除 srv01 的网线,在丢失1个包后重新连通。 - v; O4 c. G! T5 ?. s
再次ssh 到 192.168.2.144 可以看到主机名应为 srv02，并且srv02自动提升为Master。
当重新连上srv02的网线时，srv02自动降为Backup。
这时说明双机热备份功能已经成功。

TOP

‹‹ 上一主题 | 下一主题 ››