1NMC案例.docx

1NMC案例.docx

《1NMC案例.docx》由会员分享，可在线阅读，更多相关《1NMC案例.docx（80页珍藏版）》请在冰豆网上搜索。

1NMC案例

NMC的部署和使用

UAP-产业链开发部

目录

导读2

第一章：

NMC的部署和使用3

第二章:

NMC的实时监控11

2.1OverView11

2.2进程监控12

2.3线程监控20

2.4数据库监控27

2.5客户端监控31

2.6CPU37

2.7内存监控39

第三章离线分析41

3.1概述41

3.2消息中心42

3.3日志抽取53

3.4日志录制60

3.5日志分析63

3.6最佳实践68

第四章集群管理71

4.1概述71

4.2安全设置71

4.3进程管理72

4.4参数设置73

4.5补丁管理74

导读

为了保障规模不断扩大的应用并保障稳定高效，服务器集群和负载均衡是必由之路，集群站点的个数在开始的时候为个位数时，可以进行人工管理，但是当站点变成几十，几百时，靠人工的维护和管理已经不现实，所以自动化-智能化，可视化的主动监控系统-NMC（networkmanagementcontroller）应运而生。

NMC是先进的性能监控，性能分析，系统管理平台。

NMC将极大地提高性能监控，性能分析，系统管理的深度和效率，从而获得更好的服务质量和客户满意度。

对于大规模的复杂IT系统，NMC将变得不可或缺。

在监控方面，它融入了先进的性能监控思想，比如分布式监控服务，多层穿透，信息采集和分析分离，事件驱动的快照机制等，监控的对象覆盖了NC性能关注的所有方面，包括数据库，中间件，客户端等等。

在性能分析方面，它去油强大的日志抽取，分析能力，提供了丰富的图标展现功能，可以对NC，JVM,线程，快照，CPU,内存吗，客户端，在线用户等日志进行抽取和分析，同时预置了大量的分析模型。

在系统管理方面，NMC采用主动发现管理的思想，可以在中间件出现故障时主动管理，从而提高系统可靠性；集成的补丁管理工具可以帮助管理员对补丁进程进行快速部署和回滚，极大地提高集群环境下补丁管理的效率。

本课程的目的：

本课程通过展示和解释NMC各个模块的功能和作用，一步步地引导您的操作，让您快速上手对NMC的部署，监控操作，离线分析操作和集群管理。

本课程的使用对象：

本课程主要面向企业中使用NMC进行监控，性能分析和系统管理操作的相关技术人员。

本课程的使用方法：

1、使用前请安装NC开发环境、NMCserver和NMCclient；

2、参照本课程的操作步骤，使用NMC工具的基础功能实现监控，性能分析和系统管理等操作；

第一章：

NMC的部署和使用

1.1单机的部署

单机只需要启动单个NMCserver即可，此时，这个NMCserver同时充当服务中心和监控服务器。

启动方法：

Cd%NCHOME%/NMC/server

./startmonitor.bat

（%NCHOME%特指NC实际安装路径的变量。

主要以windows平台作为示例。

）

1.2集群的部署

集群环境即需要监控多个服务器目标，需要在每个物理服务器上启动一个NMCserver。

具体步骤如下：

在每个节点上指定服务中心地址。

可以通过双击Cd%NCHOME%/NMC/server目录configure.bat，也可以直接修改./conf/service.xml中servicecenter部分来实现。

图2-1配置服务中心

⏹先启动服务中心服务器

⏹启动节点服务器

特别注意：

如果重启服务中心服务器，则节点服务器必须重启！

1.3WAS启用安全管理

WAS启用安全管理时，NMC如果要对WAS进行管理（比如启动，停止），需要一些特殊配置。

以下通过一个实际的例子来说明:

WASHome：

/u01/IBM/WEBSphere/AppServer

WAS安全管理用户名/密码：

root/rootroot

具体步骤如下：

⏹createtrustkeystore

一定要用WAS带的keytool。

导出证书：

WAS_home/java/bin下执行以下命令：

keytool-export-v-keystore/u01/IBM/WEBSphere/AppServer/profiles/Dmgr01/config/cells/ncprd01Cell01/key.p12-storepassWEBAS-storetypePKCS12-aliasdefault-file/nchome/NMC/server/ibm.cer

导入证书：

在WAS_home/java/bin下执行以下命令：

keytool-import-v-noprompt-keystore/nchome/NMC/server/WASkeystore-storepassrootroot-file/yc57gold/NMC/server/ibm.cer-aliasufida.cer–trustcacerts

⏹修改monitor.properties配置文件，添加如下参数：

adminusername=root

adminpassword=rootroot

.ssl.trustStore=/nchome/NMC/server/WASkeystore

.ssl.trustStorePassword=rootroot

⏹修改startmonitor0.sh（bat），用WAS的JDK启动；

exportJAVA_HOME=/u01/IBM/WEBSphere/AppServer/java

⏹启动NMC一定要使用startmonitor0.sh（bat）命令启动服务；

1.4服务器端主要的配置文件

./conf/service.xml

服务实例和服务中心的配置文件，是核心配置文件，主要可进行如下配置：

⏹服务中心地址

⏹每个服务的属性

◆是否启动；

◆是否域内单例；

◆是否生成消息；

◆对于消息的处理方式（快照或者警告）。

./conf/monitor.properties

各种监控服务的参数的配置文件，是一个核心的配置文件,可以通过如下方式修改：

⏹直接编辑文件；

⏹通过configure.bat来修改；

⏹NMC客户端的参数配置，这种方式直接生效不需要重启实例。

./conf/monitor-log.properties

日志配置文件。

可以通过直接修改文件，修改后必须重启实例才能生效。

./conf/mail.properties

邮件服务器配置文件。

邮件服务器主要用于消息中心和通过邮件方式访问监控服务（见通过邮件访问监控服务部分），可以通过直接修改配置文件或者configure.bat。

图2-2配置邮件服务器

1.5服务器端部署的几个注意事项

⏹对中间件和数据库的监控依赖于%NCHOME%/ierp/bin/prop.xml文件，为了部署方便，建议将监控服务和NC中间件代码部署在一个服务器上。

如果要单独部署，需要在monitor.properites中指定prop.xml。

⏹如果在WAS管理控制台中更改了单个Server或者集群中某个成员Server的端口，一定要在NC的prop.xml文件中修改该对应的端口，要保证prop.xml和真实环境信息的一致性。

⏹Linux/UNIX环境特别注意要将NMC/server/bin和NMC/server/目录下的文件赋予可执行权限。

把任务放到后台执行（nohup）。

⏹JRE_HOME要设置为JDK1.5或者以上的版本。

⏹修改NMC端口需要修改NMC/server/conf/server.conf，NMC/server/conf/services.xml，%NCHOME%/resource/monitor.properties三个文件。

⏹如果是数据库是RAC环境，需要在prop.xml文件中将数据源拆分成两个针对单个实例的数据源,这样可以保证做快照和数据库检查的性能，可以单独提供一个prop.xml用于NMC。

比如：

 jdbc:

oracle:

thin:

@（DESCRIPTION=（ADDRESS=（PROTOCOL=TCP）（HOST=10.12.167.11）（PORT=1521））（ADDRESS=（PROTOCOL=TCP）（HOST=10.12.167.12）（PORT=1521））（LOAD_BALANCE=yes）（CONNECT_DATA=（SERVER=DEDICATED）（SERVICE_NAME=ncdata）））

改成以下两个数据源:

dbsource11

……..

jdbc:

oracle:

thin:

@10.12.167.11:

1521:

ncdata

…....

dbsource12

………

jdbc:

oracle:

thin:

@10.12.167.11:

1521:

ncdata

………….

1.6NMC客户端的获取

客户端可以用以下两种方式获得：

⏹直接使用%NCHOME%/NMC/client；

⏹或者从服务器上下载一个最新的客户端。

下载地址为http:

//{servicecenterhost}:

{port}/NMC/client.exe比如：

http:

//192.168.8.112:

9999/NMC/client.exe

1.7启动客户端

⏹设置JAVA_HOME

⏹进入客户端目录，执行monitorconsole.bat。

图2-2NMC客户端登录对话框

1.8客户端使用的几种模式

⏹HTTP（默认）：

使用HTTP传输协议访问监控服务。

⏹EMAIL:

使用邮件传输协议来访问监控服务。

主要用于无法通过HTTP协议访问远程监控服务器的情况。

这种传输方式提供了更灵活的接入方式。

⏹OFFLINE:

脱机模式。

主要用于基于消息和日志的分析。

1.9利用邮件传输协议进行远程监控

利用邮件传输协议进行远程监控是一种非常灵活的连接方式。

只要保证服务器端能收邮件，客户端能发邮件就可以进行实时监控。

主要的配置如下：

⏹在服务中心服务器配置邮件服务器

图2-4配置邮件服务器

⏹配置conf/services.xml将maillistner服务设置为启动:

maillistnernc.monitor.service.mailreceiver.MailListener

true

true

true

⏹配置monitor.properties修改如下属性：

#远程调用消息处理器

#收邮件from

POP_REMOTECALL_EMAILADDR=srv@

#发送邮件时指定的邮件from

SMTP_SRC_MAIL_ADDR=monitor@

#邮件访问控制列表，用；格开

MAIL_ACCESS_RULE=liujb@；

#邮件不满足规则将邮件从邮件服务器上删除

DelMail_OutOfRule=false

注意：

监听的邮件帐号最好是专用帐号！

⏹客户端登陆时，选择登陆的传输方式为Email。

图2-5选择email作为通信方式

1.10客户端主要的配置文件

⏹./conf/resource/domain.xml：

登录过的监控域的历史记录。

⏹./conf/resource/resource-client.xml

客户端插件的配置文件。

⏹./conf/SQL/fixSQL.cfg

数据库监控脚本配置文件。

⏹./conf/SQL/logSQL.cfg

日志分析预置脚本配置文件。

第二章:

NMC的实时监控

概述：

实时监控是常规的监控方法。

当问题正在发生，或者你正在客户现场的时候，实时监控可以让你第一时间捕捉到当前系统正在发生的状况，从而可以很快地定位问题和制定解决方案

NMC支持实时监控的服务主要包括Overview，进程监控，线程监控，Database监控，CUP监控，Memory监控，客户端监控等等。

Overview提供了一个系统概要；进程监控提供了进程级别的信息；线程监控提供了线程级别的信息；CPU和Memory监控提供了系统级的信息；客户端监控提供了客户端的性能和系统在线人数的信息。

每个服务都提供了监控了整个系统的某个部门的任务，把这些服务的信息整合起来就能看到这个系统的全景。

NMC实时监控的优势：

1.可以多层信息穿透。

这种层和层之间的直接关联可更加全面深入的定位和分析问题。

2.从客户端到middleware，再到数据库的端到端的无缝监控。

3.完整的信息。

NMC提供了全方位，各个层次满足各种监控需要的信息。

2.1OverView

图3-1OverView

功能概述

提供一个部署结构样式的全局的系统运行状况视图，包括系统运行状态、每个中间件的JVMheap信息、线程信息、数据库的活动会话等。

当系统出现异常，会有警告提示。

参数

无

详细功能介绍

⏹自动刷新设置：

设置视图的自动刷新时间间隔。

单位为秒，默认为5秒刷新一次；

⏹点击数据库组件进入数据库监控节点，点击中间件组件进入线程监控节点。

2.2进程监控

图4-1进程监控-JVM视图

图4-2进程监控-WEB线程视图

4-3进程监控-数据库activesession视图

功能概述

进程监控服务主要实现如下功能:

⏹对中间件状态检查，包括端口响应的时间和内存使用的情况，比如，当发现中间件不能正常工作，则可以选择对其自动重启或者动态加入一个备份的中间件；

⏹将JVMHEAP的使用情况、中间件响应时间、WEBthread及serivcethread信息采样，将采样信息写入日志，通过日志分析可以对系统进行性能评估和性能诊断；

⏹更新数据库连接池的信息和数据库活动会话的信息；

⏹对中间件进行管理，比如重启，生成JAVACORE，HEAPDUMP，设置定时重启等。

参数

⏹NodeAgentHost

中间件管理服务器地址，WEBSPHEREDM服务器的地址默认为127.0.0.1，如果为WEBLOGIC中间件，则为WEBLOGICmanager的地址。

⏹NodeAgentPort

中间件管理服务器的端口，WEBSPHEREDM的端口默认为8879，如果没有启集群，则为所在服务器的NodeAgent的端口，默认为8880，如果中间件为WEBLOGIC，默认端口为7001。

⏹Servertype

中间件服务器的类型，默认为WAS，可以选择WAS，WEBLOGIC，NC。

⏹Adminusername

中间件管理员。

如果WASadmin启用了安全管理，则需要设置。

如果服务器为WEBLOGIC，此参数必须设置。

⏹Adminpassword

中间件管理员密码。

如果WASadmin启用了安全管理，则需要设置，WEBLOGIC中间件此参数必须设置。

⏹Propfile

默认为../../ierp/bin/prop.xml，修改此参数必须重启监控服务。

⏹notResponseThreshold

中间件端口响应时间的阀值，单位为毫秒。

即当响应时间超过这个阀值，则认为端口探测失败，默认为5000毫秒。

此参数需要和fail.trytimes配合使用。

⏹fail.trytimes

端口探测的次数，即如果连续fail.trytimes次此端口探测失败，则认为中间件已经不能正常工作，需要重启。

默认为8。

此参数需要和notResponseThreshold配合使用。

⏹servlet

默认为service/monitorservlet，不需要修改。

⏹MemoryThreshold

内存报警阀值。

此值算法如下heapfree/heaptotal。

默认为0.005。

此参数需要和MemoryTrytimes配合使用。

⏹MemoryTrytimes

连续javaheap探测的次数，即当连续这些次数探测失败，则发送快照消息或者重启中间件。

默认为10次。

此参数需要和MemoryThreshold配合使用。

⏹logDuration

进行中间件信息采样同时将信息写入日志的时间间隔，默认为10秒。

日志会写入./logs/mw/。

⏹restartWhenCheckResponsefailure

检查端口失败是否重启.。

默认为true

⏹restartWhenCheckMemoryfailure

检测JVM内存失败是否重启，如果为否，则只是发送报警消息，默认为false。

⏹dumpHeapWhenRestart

检查中间件失败是否要做HEAPDUMP，默认为false。

⏹dumpThreadWhenRestart

检查中间件失败是否要做THREADDUMP，默认为false。

⏹N1_PLUGIN_FILE

N+1Standby需要指定HIS插件的配置文件，默认为空。

⏹N1_STANDBYSERVER_KEY

N+1Standby需要指定HIS插件的备份中间件，默认为空。

⏹EnableLOCKGC

中间件重启时是否做LOCKGC，默认true。

如果为true，则中间件重启时将这个中间件的PKLOCK全部清除。

详细功能介绍

⏹中间件-管理-启动

对选择的中间件进行启动，支持右键。

⏹中间件-管理-重启

对选择的中间件进行重启，支持右键。

⏹中间件-管理-停止。

对选择的中间件进行启动，支持右键。

⏹中间件-管理-定时

设置定时重启，支持右键。

如下图，则设置ncMem01每隔7天凌晨零点自动重启。

图4-4设置自动重启

⏹中间件-管理-DUMPHEAP

对所选择的中间件生成HEAPDUMP，支持右键。

⏹中间件-管理-DUMPTHREAD

对所选择的中间件生成THREADDUMP，支持右键。

⏹中间件-GC

对所选择的中间件做FULLGC，右键功能。

⏹中间件-监控-线程监控

对选择的中间件穿透到线程监控节点，支持右键。

⏹中间件-监控-全局监控

进入全局监控节点，即对所有的中间件在一个视图中进行监控。

⏹中间件-定时刷新设置

设置进程视图自动刷新的时间间隔，默认为5秒。

图4-5设置自动刷新

⏹中间件-刷新

刷新当前视图。

⏹中间件-详细信息说明

双击任何表行，则自动弹出其详细信息。

4-6进程监控详细信息

字段解释：

字段

说明

服务名

中间件名称

状态

中间件当前状态，目前有三种状态:

Running、down、starting

主机

中间件服务器地址

端口

中间件端口

重启定时

定时重启的配置，可以通过右键或者管理->定时设置

WEB线程池

WEBcontainer线程池的大小

WEB线程

远程调用线程数

服务线程

后台服务的线程数

JVMmax（m）

JVMheap的设置（max）

JVMtotal（m）

JVMheap当前的total值

JVMfree（m）

JVMheap当前的free值

JVMused（m）

JVMheapused

上次端口检查耗时

最近一次端口探测的响应时间

可管理

如果启动WEBSPHEREDM或者WEBLOGICmanager，则为true，否则为false.可管理意味着可以远程对中间件进行启动，关闭，生成HEAPDUMP、THREADDUMP。

当监控服务发现中间件不响应时，可以根据监控服务配置的管理策略对其自动重启.如果不能管理，则意味着只能做监控

⏹数据库-刷新

对数据库监控视图进行刷新。

⏹数据库-查询

进入所选择的数据库的查询节点。

⏹数据库监控详细信息说明

选中上面的任何一行，如newSQL所在的行，然后双击，则弹出下面的对话框:

图4-7数据库详细信息

字段解释:

字段

说明

数据源

数据源名称

数据库类型

数据库类型

连接字符串

数据库的jdbc连接串

连接池大小

显示为default-max

连接池已用

在对应的中间件连接池中有多少连接为使用状态

dbActiveSessions

数据库的活动会话数

最近检查时间

最近进行数据库健康检查的时间

2.3线程监控

图5-1线程监控

功能概述

⏹实时对线程信息细粒度的监控，包括线程堆栈、SQL堆栈、性能信息、业务信息、线程状态，等待事件等等；

⏹对单个线程穿透到数据库；

⏹终止一个线程；

⏹查询垃圾线程；

⏹对单个线程进行独立跟踪；

⏹联查业务，联查操作员详细信息等业务功能。

参数

⏹MW_THREAD_CHECK_INTERVAL

中间件WEB线程检查时间间隔，单位为秒，默认为120s。

注意：

WEB线程处理的是从客户端发起的请求。

⏹MW_THREAD_CHECK_MAXCOSTTIME

中间件一个WEB线程运行时间的阀值，单位为秒，超过这个时间仍没有结束则发送快照消息，默认为180秒。

⏹MW_THREAD_CHECK_MAXCOUNTOFSQL

中间件一个WEB线程执行的SQL最大数量，如果超过这个值，则发送快照消息，默认为1000个。

⏹MW_THREAD_CHECK_MAXCOSTOFONESQL=120

中间件一个线程最耗时的SQL阀值，单位为秒，如果SQL的耗时超过这个值，则发送快照消息，默认为120秒。

详细功能介绍

⏹视图线程详细信息

选中任何一个线程双击，则弹出详细对话框

图5-2线程详细对话框

可以看到详细的线程信息。

字段解释：

字段

说明

服务

全局模式下中间件的名称

线程名称

线程名称

线程状态

当前线程状态

当前事件

当前线程正在做的事件（见线程事件）主要的事件包括：

获取数据库连接SQL翻译、执行SQL、调用EJB、序列化、往客户端写数据、调用master、线程到数据库的映射、回滚，提交等

性能统计

当前线程到当前的性能统计（详见性能统计字段解释）

耗时

当前线程运行到目前的执行时间，单位为毫秒

远程调用方法

远程调用方法

客户端地址

发起远程调用的客户端地址

操作员

发起远程调用的操作员主键

操作员编码

发起远程调用的操作员名称

操作员名称

发起远程调用的操作员名称.

性能统计字段解释: