基于云计算技术的网络告警融合分析系统的设计与实现 英.docx
- 文档编号:12905193
- 上传时间:2023-04-22
- 格式:DOCX
- 页数:19
- 大小:224.60KB
基于云计算技术的网络告警融合分析系统的设计与实现 英.docx
《基于云计算技术的网络告警融合分析系统的设计与实现 英.docx》由会员分享,可在线阅读,更多相关《基于云计算技术的网络告警融合分析系统的设计与实现 英.docx(19页珍藏版)》请在冰豆网上搜索。
基于云计算技术的网络告警融合分析系统的设计与实现英
基于云计算技术的网络告警融合分析系统的设计与实现
李洪敏
(1)卢敏
(1)黄林
(2)张建平
(1)
(1)中国工程物理研究院总体工程研究所
(四川绵阳919信箱428分箱621900)
(2)西南科技大学计算机学院
摘要:
针对涉密网中安全设备产生的结构多样、数据庞大日志信息,将这些彼此独立的片断信息链接起来,重现整个网络攻击过程,发现攻击者的真正意图,是目前网络安全态势研究的重点和难点。
本文基于以上需求,研究多源海量日志数据处理分析技术,构建层次型数据融合处理框架,实现从数据层到特征层,再到决策层的多源海量日志数据的融合处理,设计并实现基于云计算技术的网络告警数据分析系统。
关键词:
云计算;告警融合;架构设计
中图分类号:
TP393文献标识码:
A
TheDesignandImplementofANetworkAlarmandDataFusionAnalysisSystemBasedonCloudComputing
Lihongmin1Lumin1Huanglin2Zhanjianping1
(1.InstituteofSystemEngineering,CAEP,Mianyang621900,China;
2.ComputerCollege,SWUST,Miany0ng621010,China)
Abstract:
Thecurrentsecurityexpertsfocusonadifficultstudywhichistheprocess-reproduceofthewholenetworkattackbylinkingtheindependentpiecesofinfiniteinformationfromvariouskindsofsecurityequipment.Basedontheaboverequirements,thispaperdesignsandimplementsanetworkalarmanddataanalysissystembyresearchingontheanalysistechniquesofdealinglargescalesoflogsfromdifferentkindsofequipmentandconstructingthehierarchicalframeworktofusionthepiecesofinformationfromthedatalayertothefeaturelevel,anddecisionlevel.
Keywords:
cloudcomputing,datafusion,frameworkdesign
1、引言
随着信息技术的不断发展和信息化建设的高速推进,网络已成为人们进行科研、生产、办公的重要平台。
由于网络具有开放性、互联性、共享性的特点,其遭受入侵的风险也日趋严重,计算机网络安全问题日益突出。
黑客活动日趋频繁,网站后门、网络钓鱼、恶意程序、拒绝服务攻击事件呈大幅增长态势,针对特定目标的有组织高级可持续攻击(APT攻击)日渐增多,涉密网络信息系统安全面临严峻挑战。
为了保证计算机和网络的安全,军工单位的涉密网都部署了大量的网络安全设备(如防火墙、IDS)、主机监控系统、应用系统审计等用于增强网络安全防护和网络安全审计。
与此同时,这些设备和系统产生了大量的结构多样、彼此独立的日志信息,这些信息无法反映一次完整的攻击,只是记录了攻击的片段,因此如何将这些片断信息链接起来,重现整个网络攻击过程,发现攻击者的真正意图,是目前网络安全态势研究的重点和难点。
本文基于以上需求,研究多源海量日志数据处理分析技术,构建层次型数据融合处理框架,实现从数据层到特征层,再到决策层的多源海量日志数据的融合处理,设计并实现基于云计算技术的网络告警数据分析系统。
1Introduction
Withtherapidadvanceofinformationtechnologyandthecontinuousdevelopmentofinformationtechnology,thenetworkhasbecomeanimportantplatformforscientificresearch,production,andoffice.Asthenetworkisopen,interconnected,sharingfeatures,theriskofbeinginvadedisbecomingseriousandcomputernetworksecurityhasbecomeincreasinglyprominent.Hackershavebecomemorefrequent,websitebackdoor,phishing,maliciousprograms,denialofserviceattacksshowedasubstantialgrowth,APTattacksbecomemorefrequenttoo.Thesecurityofsecretnetworkinformationsystemisfacingseriouschallenges.Inordertoensurethesecurityofcomputerandnetwork,militaryunitsnetworkdeploysalargenumberofnetworksecuritydevices(suchasfirewalls,IDS),hostmonitoringsystems,applications,andauditingforenhancednetworksecurityandnetworksecurityaudits.Atthesametime,thesedevicesandsystemsproducealargenumberofloginformationwhichisdifferentinstructureandindependentofeachother,whichdoesnotreflectafullattack,onlyrecordedfragmentsofattack,sohowthesepiecesofinformationlinkedtoreproducetheentirenetworkattackprocess,discoverthetrueintentoftheattacker,iscurrentlythefocusofnetworksecuritysituationanddifficultresearch.Basedontheserequirements,researchingthemulti-sourceandmassivedataprocessingofloganalysistechniques,constructinghierarchicalandfusiondataframework,achievingthecharacteristiclayerfromthedatalayer,andtohemulti-sourceandmassivedataprocessingofloganalysis,designingandimplementingcloud-basednetworkAlarmdataAnalysisSystemcomputingtechnologyarethetasksofthispaper.
2.关键技术研究
2.1海量日志数据预处理技术
首先需要对防火墙、IDS、主机监控系统的日志进行多源融合分析,日志数据进行集中采集,并保存在日志采集服务器上;然后再启动数据推送服务(可选择线上流量较小的凌晨)将日志数据文件推送至Hadoop平台;最后将日志文件写入到集群的HDFS中。
对于防火墙、入侵检测系统等设备来说,设备产生的日志信息可以通过syslog协议的方式进行推送,日志采集服务器端通过监听UDP或TCP端口的方式对日志进行采集。
对于主机监控系统未提供syslog的方式推送日志,则需要读取主机监控系统服务器中的日志,并将其保存为文件形式待推送。
日志数据生成过程如图1所示:
2.KeyTechnologyResearch
2.1techniquesofmassivelogdatapreprocessing
Firstlythelogsoffirewall,IDS,hostmonitoringsystemformulti-sourceneedtodofusionanalysis,logdataforcentralizedcollectedandstoredinthelogcollectionserver;Thenstartdatapushservice(optionalweesmallonlinetraffic)andfilesoflogsdataarepushedtoHadoopplatform;finallythelogfilesarewritteninHDFScluster.Forfirewalls,intrusiondetectionsystemsandotherequipment,theloginformationgeneratedbytheequipmentcanbepushedthroughthewayofthesyslogprotocol,logcollectionserveruseUDPorTCPporttolistentthelogcollection.Forsysloghostmonitoringsystemwhichdoesnotprovideawaytopushthelog,youneedtoreadthehostsurveillancesystemserverlog,andsaveitasafileandpushtoserver.TheprocessoflogdatagenerationshowninFigure1:
图1 日志数据生成过程
Figure1Theprocessoflogdatageneration
经过对防火墙、IDS、主机监控系统日志数据格式的研究,将日志分为四类(即管理配置异常类、流量异常类、违规操作类、安全攻击事件类)进行规范化处理。
Afterthestudyoflogdataformatsoffirewall,IDS,andhostmonitoringsystem,thelogsaredividedintofourcategories(iemanagementconfigurationexceptionclass,trafficanomalyclass,illegaloperations,securityattacksclasses)andnormalized.
(1)管理配置异常类
管理配置异常类日志是指通过提取并分析防火墙、IDS、主机监控系统中管理配置相关的日志,发现异常的管理配置操作,通过对其日志的研究可将这类日志规范化为如下格式:
(1)ManagementConfigurationexceptionclasses
LogsofManagementConfigurationexceptionclassesaredefinedaslogsextractedandanalyzedfrommanagementconfigurationrelatedlogsoffirewall,IDS,andhostmonitoringsystem,inordertofindunusualconfigurationmanagementoperations,theselogscanbenormalizedtothefollowingformatafterstudying:
LogManager(ID,dev_type,event_type,priority,user,src_ip,op,time,result,msg)
(2)流量异常类
防火墙日志中连接类日志记录了每个session发送和接收的数据包大小,可通过统计该日志数据量来分析网络中异常流量。
将这类日志规范化为如下格式:
(2)trafficanomalyclass
Thesizeofeachsessionsendedandreceivedwhichisrecordedinfirewalllogscanbeusedtoanalysetheanomalyoftraffic.Suchlogswillbenormalizedtothefollowingformat:
LogFlow(ID,dev_type,event_type,priority,src_ip,src_port,dst_ip,dst_port,time,proto,inpkt,outpkt,sent,rcvd)
(3)违规操作类
主要通过主机监控系统中产生的违规日志来分析违规操作,将这类日志规范化为如下格式:
(3)illegaloperations
Mainlythroughillegallogginghostmonitoringsystemtoanalyzetheillegaloperations,standardizationofsuchlogslikethefollowingformats:
Logillegal(ID,dev_type,event_type,user,pc_name,pc_ip,time,msg)
(4)安全攻击事件类
通过综合分析防火墙、IDS、主机监控系统三类日志发现潜在安全攻击事件,主要涉及到防火墙的访问控制类日志、IDS检测日志和主机监控中访问控制类日志,将这几类日志规范化为如下格式:
(4)securityattacksclasses
Acomprehensiveanalysisoffirewall,IDS,hostmonitoringsystemlogscanbeusedtofindthreecategoriesofpotentialsecurityattacks,whichmainlyrelatedtothecontrolclasslogsoffirewallaccesscontrolclasslogs,IDSlogsandhostmonitoring,asfollowsstandardizedformat:
LogSec(ID,dev_type,event_type,priority,src_ip,src_port,dst_ip,dst_port,time,proto)
以上四类日志中各个属性表示的意义如表1所示:
MeaningofeachattributeasindicatedinTable1below:
表1 各类日志属性与含义对应关系
Table1Allkindsofcorrespondencebetweenlogattributesandmeaning
属性
attributes
含义
meaning
备注
Remark
ID
日志ID
LogID
\
dev_type
设备类型
DeviceType
如防火墙表示为fw,入侵检测系统表示为ids,主机监控系统表示为hm,再分别加上设备编号组成设备类型,如fw001、ids001、hm001。
firewallisexpressedasfw,intrusiondetectionsystemisexpressedasids,hostmonitoringsystemisexpressedashm,andthenaddthedevicenumbertoconsistdevicetypes,suchasfw001,ids001,hm001respectively.
event_type
事件类型
EventType
防火墙的管理配置类、访问控制类、连接类等,IDS自身定义的事件类型,主机监控系统的ftp、http、smtp、telnet、usb、print等类别。
firewallconfigurationmanagementclass,accesscontrolclass,connectionclass,etc.,IDSitselfdefinedeventtype,ftp,http,smtp,telnet,usb,printandothercategoriesofhostmonitoringsystem.
priority
事件优先级
Eventpriority.
分为8级:
危急emergency(0)、报警alert
(1)、严重critical
(2)、错误error(3)、警告warning(4)、提示notice(5)、信息information(6)、调试debug(7)。
Dividedintoeight:
criticalemergency(0),alarmalert
(1),severelycritical
(2),errorerror(3),warningwarning(4),promptnotice(5),informationinformation(6),debugdebug(7).
user
登录用户名
LoginUsername
\
src_ip
源IP
SourceIP
\
src_port
源端口
Sourceport
\
dst_ip
目的IP
ThepurposeofIP
\
dst_port
目的端口
Destinationport
\
proto
协议类型
Protocoltype
\
op
操作的命令
OperationCommand
\
time
事件被记录的时间Timeofevents recorded
\
result
事件结果
Eventresults
分为成功、失败。
Intosuccess,failure.
msg
事件相关信息
Event-relatedinformation
\
inpkt
接收包数
Numberofreceivedpackets
\
outpkt
发送包数
Sendpackets
\
sent
发送字节数
Sendbytes
\
rcvd
接收字节数
Receivebytes
\
pc_name
计算机名
ComputerName
\
pc_ip
计算机ip地址
Computerip
\
本文采用HDFS文件系统来存储防火墙、IDS、主机监控系统的原始日志,并可设定日志采集服务器每探测到防火墙、IDS、主机监控系统中生成一条日志立即传输日志,这样避免黑客恶意删除原始日志。
HDFS文件块存储示例如图2所示:
Inthispaper,HDFSfilesystemisusedtostorerawlogsoffirewall,IDS,hostmonitoringsystem,andsetthelogcollectionserverimmediatelytransferlogwhendetectingfirewall,IDS,hostmonitoringsystemgeneratesalog,inordertoavoidingmalicioushackerdeletedtheoriginallog.ExampleofHDFSfileblockstorageshowninFigure2:
图2 HDFS文件块存储图3 管理配置类告警融合分析流程
Figure2HDFSfileblockstorageFigure3AlarmManagementConfigurationclassfusionanalysisprocess
从图2中HDFS文件块存储示例中可以看出:
主机监控系统原始日志(hm.log)备份数为3,分别存储于Datanode1、Datanode2、Datanode4三个节点上;防火墙原始日志(fw.log)备份数为2,分别存储于Datanode1、Datanode3两个节点上;IDS原始日志(ids.log)备份数为2,分别存储于Datanode3、Datanode4两个节点上。
这些文件存储的节点信息都在Namenode中有相应记录,当其中一个节点发生故障,Namenode会从另一个节点读取数据,从而避免单点故障导致的数据丢失或损坏问题。
HDFSfileblocksfromthestorecanbeseenintheexampleofFigure2:
backupnumberofrawlogsofhostMonitoringSystem(hm.log)is3,arestoredinDatanode1,theDatanode2,Datanode4threenodes;backupnumberoffirewallrawlogs(fw.log)is2,arestoredinDatanode1,theDatanode3twonodes;backupnumberofIDSrawlogs(ids.log)is2,arestoredinDatanode3,theDatanode4twonodes.TheseinformationfilesnodesarerecordedinNamenode,whenonenodefails,Namenodewillreadd
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于云计算技术的网络告警融合分析系统的设计与实现 基于 计算 技术 网络 告警 融合 分析 系统 设计 实现
![提示](https://static.bdocx.com/images/bang_tan.gif)