LVS进阶（第30天）

回顾：
lvs: l4 switch, l4 router
vip, port, {tcp|udp}

lvs-type:
lvs-nat, masquerade
lvs-dr, gateway
lvs-tun, ipip
lvs-fullnat (keepalived)

lvs scheduler:  lvs调度算法
static: rr, wrr, sh, dh
dynamic: lc, wlc, sed, nq, lblc, lblcr
overhead: active connections, inactive connections

lvs-dr:    vip和dip/rip不再同一个网段时，
            vmware的网络模型：bridge, nat, host-only,




lvs(3)

netfilter:
PREROUTING --> INPUT
PREROUTING --> FORWARD --> POSTROUTING
OUTPUT --> POSTROUTING

ipvs: 工作在INPUT链上


FWM：防护墙标记
当请求到达的时候，请求是先进入ipvs调度机的PREROUTING链上的，然后是INPUT链接，或者是先进入PREROUTING链，然后是FORWARD链，2种可能中都必须要经由PREROUTING链，所以netfilter就可以在PREROUTING链上对某特征报文打标机，比如对tcp的80端口的报文打标记（而要对报文打标记，要用到iptables命令的-j选项指定动作为打标记）。

具体做法如下，分2步：
     PREROUTING:   第1步，使用iptables对某种特征的报文打标记
          iptables  -j MARK --set-mark 10     设计标记10

    ipvs:      第2步，调度的时候，使用标记数字来表示这种特征的报文
          ipvsadm  -A -f 10   这里就可以用-f指定标记，比如，10可能就是表示tcp 80端口的报文， ipvsadm  -A -f 10  相当于 ipvsadm  -A -t ip:80




通过FWM定义集群的方式：
(1) 在director上netfilter的mangle表的PREROUTING定义用于“打标”的规则
~]# iptables -t mangle -A PREROUTING -d $vip -p $protocol --dports $port -j MARK --set-mark #
$vip: VIP地址
$protocol：协议
$port: 协议端口
(2) 基于FWM定义集群服务：
~]# ipvsadm -A -f # -s scheduler
~]# ipvsadm -a -f # -r RS1_IP -g
   ~]# ipvsadm -a -f # -r RS2_IP -g
   ~]# ipvsadm -a -f # -r RS3_IP -g

功用：将共享同一组RS的集群服务统一进行定义；比如，80和443端口的服务统一进行定义



session保持的实现方式如下：
session绑定
session复制
session服务器

session绑定：可以使用lvs   sh算法
对某一特定服务；



lvs persistence：lvs的持久连接
     功能：无论ipvs使用何种调度方法，其都能实现将来自于同一个Client的请求始终定向至第一次调度时挑选出的RS；


持久连接的实现方式：
      持久连接会话模板：sourceip  rs  timer    timer表示倒数器，表示请求来源对应的rs，通过指定-p选项来实现，-p 后面跟上超时时间，比如  ipvsadm -A -t 192.168.0.10:80 -s rr -p   &&  ipvsadm -a -t  192.168.0.10:80  -r 172.16.100.21 -g  &&   ipvsadm -a -t  192.168.0.10:80  -r 172.16.100.22 -g

每端口持久：PPC，单服务持久调度，同一种服务（比如80，或者22的服务）的请求被调度至同一个rs
每FWM持久：PFWMC，单FWM持久调度，同一个防火墙标记的请求被调度之同一个rs
PORT AFFINITY
每客户端持久：PCC，单客户端持久调度
director会将单用户的任何请求(包括任何端口)都识别为集群服务，并向RS进行调度
TCP：1-65535    说白了，无非就是把端口范围定义为1到65535
UDP:  1-65535




HA:高可用
SPOF: Single Point of Failure  单点故障
                           单点故障越少，越高可用

director: 高可用集群；
realserver: 让director对其做健康状态检测，并且根据检测的结果自动完成添加或移除等管理功能；


健康检查后端的RS服务器要考虑的问题：
1、基于协议层次检查
ip: icmp
传输层：检测端口的开放状态（使用nmap）
应用层：请求获取关键性的资源

2、检查频度，过于频繁会造成RS的压力，过于离散会造成检查不够准确

3、状态判断
下线：ok --> failure（软状态） --> failure（软状态） --> failure（硬状态）
上线：failure --> ok（软状态） --> ok（硬状态）

4、back server也称之为sorry server：因为可能出现所有的RS都挂掉的情况，这时候就需要一个可用的back server来告知用户当前服务不可用。



LVS没有提供对于后端RS的健康监测的模块，haproxy，nginx等就提供了对于后端RS的健康监测的模块。


maybe可以自己写脚本对后端RS的健康状态做监测。

示例脚本：
#!/bin/bash
#
fwm=6
sorry_server=127.0.0.1
rs=('172.16.100.21' '172.16.100.22')    #后端的RS服务器
rw=('1' '2')      #RS的权重
type='-g'        #lvs类型
chkloop=3      #从软状态到硬状态要经过几次监测
rsstatus=(0 0)  #RS的初始状态
logfile=/var/log/ipvs_health_check.log

addrs() {      #添加RS
ipvsadm -a -f $fwm -r $1 $type -w $2
[ $? -eq 0 ] && return 0 || return 1
}

delrs() {    #删除RS
ipvsadm -d -f $fwm -r $1
[ $? -eq 0 ] && return 0 || return 1
}

chkrs() {   #监测RS
local i=1
while [ $i -le $chkloop ]; do
if curl --connect-timeout 1 -s http://$1/.health.html | grep "OK" &> /dev/null; then
return 0
fi
let i++
sleep 1
done
return 1
}

initstatus() {   #初始化
for host in `seq 0 $[${#rs[@]}-1]`; do
if chkrs ${rs[$host]}; then
if [ ${rsstatus[$host]} -eq 0 ]; then
rsstatus[$host]=1
fi
else
if [ ${rsstatus[$host]} -eq 1 ]; then
rsstatus[$host]=0
fi
fi
done
}

initstatus
while :; do
for host in `seq 0 $[${#rs[@]}-1]`; do
if chkrs ${rs[$host]}; then
if [ ${rsstatus[$host]} -eq 0 ]; then
addrs ${rs[$host]} ${rw[$host]}
[ $? -eq 0 ] && rsstatus[$host]=1
fi
else
if [ ${rsstatus[$host]} -eq 1 ]; then
delrs ${rs[$host]} ${rw[$host]}
[ $? -eq 0 ] && rsstatus[$host]=0
fi
fi
done
sleep 5
done





附：director和rs的示例脚本

DR类型director脚本示例：
#!/bin/bash
#
vip=172.16.100.33
rip=('172.16.100.8' '172.16.100.9')
weight=('1' '2')
port=80
scheduler=rr
ipvstype='-g'

case $1 in
start)
iptables -F -t filter
ipvsadm -C

ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
echo 1 > /proc/sys/net/ipv4/ip_forward

ipvsadm -A -t $vip:$port -s $scheduler
[ $? -eq 0 ] && echo "ipvs service $vip:$port added."  || exit 2
for i in `seq 0 $[${#rip[@]}-1]`; do
ipvsadm -a -t $vip:$port -r ${rip[$i]} $ipvstype -w ${weight[$i]}
[ $? -eq 0 ] && echo "RS ${rip[$i]} added."
done
touch /var/lock/subsys/ipvs
;;
stop)
echo 0 > /proc/sys/net/ipv4/ip_forward
ipvsadm -C
ifconfig eth0:0 down
rm -f /var/lock/subsys/ipvs
echo "ipvs stopped."
;;
status)
if [ -f /var/lock/subsys/ipvs ]; then
echo "ipvs is running."
ipvsadm -L -n
else
echo "ipvs is stopped."
fi
;;
*)
echo "Usage: `basename $0` {start|stop|status}"
exit 3
;;
esac


DR类型RS脚本示例：
#!/bin/bash
#
vip=172.16.100.33
interface="lo:0"

case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ifconfig $interface $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev $interface
;;
stop)
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

ifconfig $interface down
;;
status)
if ifconfig lo:0 |grep $vip &> /dev/null; then
echo "ipvs is running."
else
echo "ipvs is stopped."
fi
;;
*)
echo "Usage: `basename $0` {start|stop|status}"
exit 1
esac

课堂实践任务：
(1) 建立一个由至少两个RS组成的负载均衡集群；rs用于提供apache+php，mysql由单独的服务器实现；
(2) 部署安装discuz_x3.1；分别基于rr/lc/sh算法调度，查看两台rs是否都接收到了请求；
部署环境说明：假设页面访问路径为/www/app/discuz，则需要将discuz_3.1部署于/www/app目录中，而后将/www/app/discuz创建为符号链接，链接至带版本号的目录上；多台RS路径均采用此方式；
(3) 基于灰度的方式进行应用程序升级；
(4) 尝试着写脚本自动进行灰度发布；




















评论

发表评论

此博客中的热门博文

OAuth 2教程

图片
原文： http://tutorials.jenkov.com/oauth2/index.html OAuth 2.0是一种开放式 授权 协议，该协议使得应用程序可以访问彼此的数据。例如：一个游戏应用可以访问Facebook中的用户数据，或者基于位置的应用程序可以访问Foursquare应用程序的用户数据（ user data ）等。 OAuth 2.0被用于通过应用程序共享数据的示例如上图。 首先用户进入游戏的web应用，该应用要求用户通过Facebook账户登录，并定向到Facebook的登录界面，用户登录Facebook后，会重定向到之前的游戏应用。此时该应用就访问到了用户在Facebook的用户数据以及授权信息，并代表用户在Facebook中调用功能（例如发布状态更新）。 OAuth 2.0 用例 OAuth 2.0既可以用于在某个应用内访问其它应用的用户信息（比如上例中的游戏应用），又可以提供用户授权服务供其它应用调用（比如上例中的Facebook）。 OAuth 2.0是OAuth 1.0的替代，因为OAuth 1.0太复杂了，比如OAuth 1.0要求使用证书等。OAuth 2.0更加简单，不要求使用证书，仅使用SSL/TLS。 OAuth 2.0 规范 这个教程的目的是提供一个OAuth 2.0协议的概览以帮助理解，而不是涵盖此协议的所有细节。 如果你计划实现一个OAuth 2.0协议，最好是去阅读规范的详细内容，规范的地址：http://tools.ietf.org/html/draft-ietf-oauth-v2-23 OAuth 2.0 概述 在之前的介绍中我们提到，OAuth 2.0是一个开放标准，其允许某个应用程序访问其它应用程序的用户授权的数据。现在我们来介绍这个协议是如何工作的，以及规范中提到的各种概念。 OAuth 2.0 提供了不同的方式使得客户端应用获得权限去访问存储在资源服务器中的资源。现在介绍其中最安全和最常用的使用方式： 一个web应用请求访问另一个web应用 的资源。 下面的示例图描述了整个认证过程： 首先，用户访问客户端Web应用程序，在这个应用程序里有“通过Facebook登录”（或谷歌或Twitter等其他系统）的按钮。 第二步，当用户点击这个按...
阅读全文

网格策略

图片
波段策略网格之一：写在前面，体系以及策略 壹：写在前面 踏踏实实的踏踏实实 在这个有些寒意又充满希望的春天，我决定将我使用了7年的一个波段策略——网格策略，与大家分享与交流。这次分享，会把目前已经升级到3.0的网格策略事无巨细说的非常清楚。这应该是你能见到最详细最有价值的网格策略文章，因为这几篇文章凝结了整整7年的思考和实践。 在此之前，我不是不想与大家分享。有三个原因导致我迟迟没有做这件事。 第一个原因很简单，对于这样一个凝聚心血的东西，我是有些私心的。这个各位也应该能够理解。 第二个原因，在于这件事是一件需要耗费极大精力，又有很大风险的事情。对于做事的信条，我的理念是要么不做，要做就做到极致。所以我如果讨论这个策略，就一定要把方方面面的东西全部说到。这个工作量非常大。 同时，风险很大。风险点在于无论我如何强调需要注意的问题，看这篇文章的几万十几万读者，也一定有人学习能力强，有人接受能力差一些。只要有一个关键点你没有融会贯通，就可能出现不好的结果。 第三个原因，我自己也需要对这个策略进行不断的实践，不断将细节升级。我不可能将一个自己没有做过3轮以上的策略与大家分享，这是对你负责。我必须深刻理解它的优点缺点，才能跟你交流。我会用我自己的钱去做实证，而不是用你的。 基于以上原因，我一直没有公开讨论过这个策略。但现在，我认为时机差不多成熟了。再加上一些外部因素刺激，我决定与你分享。 这一个系列的文章会分为3-4篇。第一篇很重要，会讨论投资体系的构建，各种投资策略互相搭配的重要性以及应该注意的问题。这一篇虽然还未涉及网格策略，但真的很重要，希望你能认真看一看。 第二篇会介绍网格策略的基本操作方式。即1.0版本。 第三篇会介绍网格策略2.0。这次升级意义非常重大，将网格1.0的一些固有缺陷在一定程度上弥补掉。到时候看情况，也有可能将3.0也放在第三篇里，有可能将3.0单独开一篇。 这就是全部这次的交流计划。也许这个策略不适合你，也许你不喜欢这种波段策略，但无论如何，希望你能感受到我的责任感与诚意。 贰：投资体系 踏踏实实的踏踏实实 每个人做投资，都应该有一套完整的投资体系。整套体系包括大致两个方面： 第一个方面，是观察金融世界的体系。 ...
阅读全文

apt-get详细使用

NAME apt-get - APT包处理程序--基于命令行 SYNOPSIS apt-get [-asqdyfmubV] [-o=config_string] [-c=config_file] [-t=target_release] [-a=architecture] {update | upgrade | dselect-upgrade | dist-upgrade | install pkg [{=pkg_version_number | /target_release}]...  | remove pkg...  | purge pkg...  | source pkg [{=pkg_version_number | /target_release}]...  | build-dep pkg [{=pkg_version_number | /target_release}]...  | download pkg [{=pkg_version_number | /target_release}]...  | check | clean | autoclean | autoremove | {-v | --version} | {-h | --help}} DESCRIPTION apt-get是一种基于命令行的包处理工具，被认为是相对于其它apt库的“后端”（指在命令行下）工具，同样也有一些“前端”（基于图形模式）下工具，如aptitude(8),synaptic(8)和wajig(1). 除了-h,或是--help这两个参数，下面的子命令之一必须使用。 update update是被用来与它们的源中的包索引文件进行同步的。 可用的软件包的索引是从/etc/apt/sources.list文件中指定的路径获取的。举个例子，当我们使用Debian时，这个命令就取出并扫描Packages.gz的文件，因为这样就能得到升级了的包和新的包的信息了。更新(update)应该在使用upgrade或是dist-upgrade这2个子命令之前使用。请注意：因爲无法预知包文件的大小，所以整體更新進度表將不正確。 （译者注：所以請注意，update並不真正升級安裝在系統上的軟件包，只是查...
阅读全文