tomcat负载均衡,集群,memcached,jvm详解(第38天)

tomcat的配置文件server.xml, webapp的组织形式, 应用程序的部署, LAMT, LNMT, LNAMT;


配置文件server.xml文件的结构：最主要是配置Host和Context
        server.xml:
            <server>
                <service>
                    <connector port="8080" />
                    <connector port="8009" protocol="AJP/1.3" />
                    <engine >
                        <Host />
                        <Host >
                            <Context path="" docBase="" />
                        </Host>
                    </engine>
                </service>
            </server>


tomcat webapp 目录结构如下：
            /                 根目录
            classes       类文件
            lib               用到的类库
            META-INF  该目录可以有
            WEB-INF    该目录可以有web.xml




tomcat webapp的部署：
冷部署：
 热部署：manager（tomcat自带的应用程序） app, ant, tcd





Tomcat Cluster(3) tomcat集群：
tomcat集群的相关信息：
tomcat集群：客户端发起请求，nginx负责接受处理请求并作动静分离，将其中的动态请求分发给后端服务器，后端服务器一般可以是apache，apache负责将这些动态请求转发（反向代理）给tomcat。这样的apache和tomcat的组合，可以有多套。



会话的保持：
session sticky：session绑定有2种：基于源IP和基于cookie的绑定
            source ip
            cookie
session cluster： session集群
session server ：kv: memcached保存session, redis




(1) LB tomcat
        nginx tomcats
        apache tomcats
(2) LB tomcat cluster
(3) LB tomcat
        session server  memcached保存session





apache作为前端，并且负载均衡请求到后端的tomcat服务器组，tomcats作为后端的实现方法有如下3种：第3种方法不推荐使用
        (1) apache:
                mod_proxy
                mod_proxy_http  使用http协议反向代理请求到后端tomcat
                mod_proxy_balancer   负载均衡模块
            tomcat:
                http connector   tomcat使用http协议接受apache的http请求
        (2) apache:
                mod_proxy
                mod_proxy_ajp   使用ajp协议反向代理请求到后端tomcat
                mod_proxy_balancer            负载均衡模块 
            tomcat:
                ajp connector  tomcat使用ajp协议接受apache的ajp请求
        (3) apache:
                mod_jk
            tomcat:
                ajp connector




第一种方法的实现：
        <proxy balancer://lbcluster1>
            BalancerMember http://172.16.100.68:8080 loadfactor=10 route=TomcatA
            BalancerMember http://172.16.100.69:8080 loadfactor=10 route=TomcatB
        </proxy>

        <VirtualHost *:80>
            ServerName web1.magedu.com
            ProxyVia On
            ProxyRequests Off
            ProxyPreserveHost On
            <Proxy *>
                Require all granted
            </Proxy>
            ProxyPass / balancer://lbcluster1/
            ProxyPassReverse / balancer://lbcluster1/
            <Location />
                Require all granted
            </Location>
        </VirtualHost>



第一种方法如果需要会话绑定：
            Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
            <proxy balancer://lbcluster1>
                BalancerMember http://172.16.100.68:8080 loadfactor=10 route=TomcatA
                BalancerMember http://172.16.100.69:8080 loadfactor=10 route=TomcatB
                ProxySet stickysession=ROUTEID
            </proxy>

            <VirtualHost *:80>
                ServerName web1.magedu.com
                ProxyVia On
                ProxyRequests Off
                ProxyPreserveHost On
                <Proxy *>
                    Require all granted
                </Proxy>
                ProxyPass / balancer://lbcluster1/
                ProxyPassReverse / balancer://lbcluster1/
                <Location />
                    Require all granted
                </Location>
            </VirtualHost>



第二种方法的实现：
        #Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
        <proxy balancer://lbcluster1>
            BalancerMember ajp://172.16.100.68:8009 loadfactor=10 route=TomcatA
            BalancerMember ajp://172.16.100.69:8009 loadfactor=10 route=TomcatB
            ProxySet stickysession=ROUTEID
        </proxy>

        <VirtualHost *:80>
            ServerName web1.magedu.com
            ProxyVia On
            ProxyRequests Off
            ProxyPreserveHost On
            <Proxy *>
                Require all granted
            </Proxy>
            ProxyPass / balancer://lbcluster1/
            ProxyPassReverse / balancer://lbcluster1/
            <Location />
                Require all granted
            </Location>
        </VirtualHost>


补充:mod_proxy_balancer模块内置的manager：
        <Location /balancer-manager>
          SetHandler balancer-manager
          Proxypass !
          Order Deny,Allow
          Allow from all
        </Location>








Session Cluster：
 tomcat的session manager：会话管理器如下几种：
            StandardManager   标准session管理器
            PersistentManager：持久化session管理器，可以存储在文件和JDBC数据库中
                FileStore
                JDBC
            DeltaManager  每个tomcat节点多播，每个节点同步其他节点的session
            BackupManager


构建步骤：
(1) 各tomcat节点配置使用deltamaanager： server.xml文件
        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.1.7"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>

(2) 为需要使用session cluster的webapps开启session distribution的功能：
            WEB-INF/web.xml中添加
                <distributable/>







Memcached：
LiveJournel旗下Danga Interactive公司Brad。
使用非常广泛
是高性能key/value数据缓存系统。



软件系统需要存储的数据的分类：
结构化数据：RDBMS
半结构化数据：JSON(Documentation) --> NoSQL
非结构化数据：文件系统保存的各种各样的数据
分布式存储：分布式文件系统、存储；FUSE





memcached的特点：
协议简单
基于libevent事件处理
基于内存完成数据存储：LRU（最近最少使用）
memcached互不通信的集群：分布式


安装：
yum  install memcached -y  安装
memcached默认监听在tcp和udp的11211的端口
memcached提供了memcached和memcached-tool的二进制程序
systemctl start memcached.service   启动memcached
man memcached   查看帮助信息



旁挂式缓存：
 一半在客户端；一半在服务端；



使用telent连结memcached：
telnet  127.0.0.1  11211  连接上memcached，即可管理memcached
set mykey 0 60 11  表示设置键mykey，对应的值11个字符
hello world
get mykey   获取mykey对应的值
hello world   输出hello world
incr
flush_all



php语言如何连接memcached: 使用extensions，
php使用memcache, memcached连结memcached服务
c语言使用: libmemcached类库连结memcached



memcached在内存中的存储：
slab allocation：整理内存以进行复用；
slab allocator的工作机制如下：
 分配一2字节，4字节，8字节等的内存。
            Page: 分配给slab用于再次分割为chunk的内存空间；
            chunk：用于缓存缓存对象的空间；
            slab class：特定大小的chunk组合而成的组；



memcached-tool命令的使用
memcached-tool 127.0.0.1  命令可以查看stats：每个字段的解释如下
        #：表示slab class的编号；
        Item_size：Chunk的大小；
        Max_age：缓存对象的生存时间；
        Pages：分配给slab的内存页数；
        Count：slab内的记录数；
        Full?：slab内是否仍有空闲chunk；

分布式机制：
        互不通信的分布式集群；



memcached -u memcached -vv   可以查看详细信息
memcached -u memcached -vv  -f  1.1  调整增长因子的大小




memcached-session-manager项目：
该项目用于把tomcat集群的session保存到memcached服务中。





JVM





jvm 的堆区结构：


jvm head内存空间：
新生代：新生区eden（初建对象放于此），存活区survivor（步入成熟期的对象放于此），存活区分为存活区ss1(也称为to)和存活区ss2(也成为from)
老年代：
持久代：


垃圾回收器：
新生代垃圾回收器：Minor GC
老年代垃圾回收器：Major GC（full GC）




Minor GC工作原理
Major GC工作原理：遍历整个老年代堆区，对不可用的对象做标记，然后删除




java调整堆区内存大小的选项:


-Xmx
-Xms
-XX:NewSize
-XX:MaxNewSize
-XX:MaxPermSIze
-XX:PermSize
这些设置启动的时候传递给虚拟机：
对于tomcat来说，catalina.sh脚本中有两个环境变量CATALINA_OPTS（对于catalina启动的虚拟机有效）和JAVA_OPTS（对主机的所有java虚拟机都有效）



java的性能工具的使用：
OutOfMemoryError
内存泄漏
线程死锁
锁竞争
java消耗过多的CPU


jps（java virtual machine process status tool）
监控jvm进程的状态信息
jps [options] [hostsid]
   -m
    -l   显示main类或jar的完全限定名称
    -v  显示为jvm虚拟机指定的参数



jstack 查看某个java进程内的线程堆栈信息
jstack [options] pid
  -l   long listing  输出完整的锁信息
  -m 混合模式，会输出java堆栈以及C/C++堆栈信息


jmap（jvm memory map 查看堆内存使用情况）
jmap [options] pid
    -heap   详细输出堆内存空间使用状态
    -histo[:live]  查看堆内存中的对象数目，统计信息



jhat（java heap analysls tool）：


jstat：jvm统计监测工具
 jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]
jstat可用的option有：
-class
-compiler
-gc
-gccapacity
-gccause
-gcmetacapacity
-gcnew
-gcnewcapacity
-gcold
-gcoldcapacity
-gcutil
-printcompilation
字段解释如下：
S0C，S1C，S0U，S1U：C表示容量，U表示已用量，存活区1和存活区2容量和已用量
EC，EU，eden区域的容量和已用量
OC，OU，表示老年代的容量和已用量
YGC，YGT，表示新生代的GC次数和耗时
FGC，FGCT，表示老年代的GC次数和耗时
GCT   GC总耗时

两个GUI工具：jconsole和jvisualvm













评论

发表评论

此博客中的热门博文

OAuth 2教程

图片
原文： http://tutorials.jenkov.com/oauth2/index.html OAuth 2.0是一种开放式 授权 协议，该协议使得应用程序可以访问彼此的数据。例如：一个游戏应用可以访问Facebook中的用户数据，或者基于位置的应用程序可以访问Foursquare应用程序的用户数据（ user data ）等。 OAuth 2.0被用于通过应用程序共享数据的示例如上图。 首先用户进入游戏的web应用，该应用要求用户通过Facebook账户登录，并定向到Facebook的登录界面，用户登录Facebook后，会重定向到之前的游戏应用。此时该应用就访问到了用户在Facebook的用户数据以及授权信息，并代表用户在Facebook中调用功能（例如发布状态更新）。 OAuth 2.0 用例 OAuth 2.0既可以用于在某个应用内访问其它应用的用户信息（比如上例中的游戏应用），又可以提供用户授权服务供其它应用调用（比如上例中的Facebook）。 OAuth 2.0是OAuth 1.0的替代，因为OAuth 1.0太复杂了，比如OAuth 1.0要求使用证书等。OAuth 2.0更加简单，不要求使用证书，仅使用SSL/TLS。 OAuth 2.0 规范 这个教程的目的是提供一个OAuth 2.0协议的概览以帮助理解，而不是涵盖此协议的所有细节。 如果你计划实现一个OAuth 2.0协议，最好是去阅读规范的详细内容，规范的地址：http://tools.ietf.org/html/draft-ietf-oauth-v2-23 OAuth 2.0 概述 在之前的介绍中我们提到，OAuth 2.0是一个开放标准，其允许某个应用程序访问其它应用程序的用户授权的数据。现在我们来介绍这个协议是如何工作的，以及规范中提到的各种概念。 OAuth 2.0 提供了不同的方式使得客户端应用获得权限去访问存储在资源服务器中的资源。现在介绍其中最安全和最常用的使用方式： 一个web应用请求访问另一个web应用 的资源。 下面的示例图描述了整个认证过程： 首先，用户访问客户端Web应用程序，在这个应用程序里有“通过Facebook登录”（或谷歌或Twitter等其他系统）的按钮。 第二步，当用户点击这个按...
阅读全文

网格策略

图片
波段策略网格之一：写在前面，体系以及策略 壹：写在前面 踏踏实实的踏踏实实 在这个有些寒意又充满希望的春天，我决定将我使用了7年的一个波段策略——网格策略，与大家分享与交流。这次分享，会把目前已经升级到3.0的网格策略事无巨细说的非常清楚。这应该是你能见到最详细最有价值的网格策略文章，因为这几篇文章凝结了整整7年的思考和实践。 在此之前，我不是不想与大家分享。有三个原因导致我迟迟没有做这件事。 第一个原因很简单，对于这样一个凝聚心血的东西，我是有些私心的。这个各位也应该能够理解。 第二个原因，在于这件事是一件需要耗费极大精力，又有很大风险的事情。对于做事的信条，我的理念是要么不做，要做就做到极致。所以我如果讨论这个策略，就一定要把方方面面的东西全部说到。这个工作量非常大。 同时，风险很大。风险点在于无论我如何强调需要注意的问题，看这篇文章的几万十几万读者，也一定有人学习能力强，有人接受能力差一些。只要有一个关键点你没有融会贯通，就可能出现不好的结果。 第三个原因，我自己也需要对这个策略进行不断的实践，不断将细节升级。我不可能将一个自己没有做过3轮以上的策略与大家分享，这是对你负责。我必须深刻理解它的优点缺点，才能跟你交流。我会用我自己的钱去做实证，而不是用你的。 基于以上原因，我一直没有公开讨论过这个策略。但现在，我认为时机差不多成熟了。再加上一些外部因素刺激，我决定与你分享。 这一个系列的文章会分为3-4篇。第一篇很重要，会讨论投资体系的构建，各种投资策略互相搭配的重要性以及应该注意的问题。这一篇虽然还未涉及网格策略，但真的很重要，希望你能认真看一看。 第二篇会介绍网格策略的基本操作方式。即1.0版本。 第三篇会介绍网格策略2.0。这次升级意义非常重大，将网格1.0的一些固有缺陷在一定程度上弥补掉。到时候看情况，也有可能将3.0也放在第三篇里，有可能将3.0单独开一篇。 这就是全部这次的交流计划。也许这个策略不适合你，也许你不喜欢这种波段策略，但无论如何，希望你能感受到我的责任感与诚意。 贰：投资体系 踏踏实实的踏踏实实 每个人做投资，都应该有一套完整的投资体系。整套体系包括大致两个方面： 第一个方面，是观察金融世界的体系。 ...
阅读全文

apt-get详细使用

NAME apt-get - APT包处理程序--基于命令行 SYNOPSIS apt-get [-asqdyfmubV] [-o=config_string] [-c=config_file] [-t=target_release] [-a=architecture] {update | upgrade | dselect-upgrade | dist-upgrade | install pkg [{=pkg_version_number | /target_release}]...  | remove pkg...  | purge pkg...  | source pkg [{=pkg_version_number | /target_release}]...  | build-dep pkg [{=pkg_version_number | /target_release}]...  | download pkg [{=pkg_version_number | /target_release}]...  | check | clean | autoclean | autoremove | {-v | --version} | {-h | --help}} DESCRIPTION apt-get是一种基于命令行的包处理工具，被认为是相对于其它apt库的“后端”（指在命令行下）工具，同样也有一些“前端”（基于图形模式）下工具，如aptitude(8),synaptic(8)和wajig(1). 除了-h,或是--help这两个参数，下面的子命令之一必须使用。 update update是被用来与它们的源中的包索引文件进行同步的。 可用的软件包的索引是从/etc/apt/sources.list文件中指定的路径获取的。举个例子，当我们使用Debian时，这个命令就取出并扫描Packages.gz的文件，因为这样就能得到升级了的包和新的包的信息了。更新(update)应该在使用upgrade或是dist-upgrade这2个子命令之前使用。请注意：因爲无法预知包文件的大小，所以整體更新進度表將不正確。 （译者注：所以請注意，update並不真正升級安裝在系統上的軟件包，只是查...
阅读全文