数据业务一站式实现平台方案.docx
- 文档编号:27433003
- 上传时间:2023-06-30
- 格式:DOCX
- 页数:26
- 大小:1.54MB
数据业务一站式实现平台方案.docx
《数据业务一站式实现平台方案.docx》由会员分享,可在线阅读,更多相关《数据业务一站式实现平台方案.docx(26页珍藏版)》请在冰豆网上搜索。
数据业务一站式实现平台方案
数据业务一站式实现平台方案
iHolstein数据业务实现平台致力于企业的数字化转型
II
1.0概述
随着互联网逐渐深入到各个行业,企业管理者已普遍认识到了数字技术的价值,及其对企业所发挥的作用。
在这种环境下,企业纷纷斥巨资投入到数字化转型中。
然而,管理者常常沮丧地发现,不菲的投入却换不来显著的业绩提升。
有的公司则没有长远规划,投入到一系列漫无目的数字实验中。
这些行为不但无法带来竞争优势,反而会提升公司的成本,让其变得更加脆弱。
究其原因,当前的数据业务实现模式有很大的负面影响。
当前软件研发模式:
业务梳理、需求分析与DEMO原型设计、数据获取即系统开发、应用上线部署及数据获取实施、试运行、商用;业务梳理由业务人员完成,其它环节都由IT的业务分析人员、开发人员、运维人员分别完成。
这个模式适合企业信息化建设阶段,但对于当前的数字化转型所涉及的大量数据业务,则瓶颈凸显,主要表现在:
IT响应周期无法满足日益变化的数据业务需求、IT投入成本高但回报很低。
iHolstein数据业务实现平台致力于企业的数字化转型,协助企业CDO做好数字化转型。
基于iHolstein一体化的数据业务实现平台,可以实现“DEMO设计+数据模型即可功能实现”、“一个人可以从业务到上线全程一人搞定”;实现周期平均缩短3/5、可减少3个人力,故障恢复时间平均缩短2/3、可减少2个人力。
2.1数据业务一站式实现平台介绍
2.2体系结构
数据业务一站式实现平台帮助企业在数字化转型过程中,实现数据处理的实时化、分析的智能化、应用的快速定制化。
实时化体现在大数据实时处理与计算技术;智能化体现在机器学习技术的运用;快速定制化体现在平台提供界面化操作,通过托拉拽的方式可快速完成一个数据业务应用。
数据业务一站式实现平台包含采集管理、搜索管理、关系管理、容器管理,企业可以根据自己的需求在平台上选择或定制不同的数据业务应用,如安全审计、容量管理、业务交易分析等。
2.3平台功能介绍
2.21采集管理
数据业务实现平台通过SYSLOG、SNMP、SCP、WMI、ODBC等多种协议或专用Agent
采集分散在各个系统/设备中的各种数据信息。
数据业务实现平台既支持实时采集,也支持
按照制定的计划周期采集;既支持主动式采集,也支持被动式采集;既支持分布式采集,也支持层次采集。
2.22搜索管理
数据业务实现平台采用nosql的方式,可通过集群扩展、离线备份支持海量数据存储。
数据业务实现平台提供了非常方便、简单易懂的检索语法,语法完全采用自然语言定义,
类似于使用谷歌或XX搜索的体验。
只要会使用搜索引擎,就可以检索查看分析数据。
2.23关系管理
数据分析引擎是综合了统计分析、机器学习、人工智能、数据库等诸多方面的综合应用技术,面对大数据的价值密度低的特点,利用丰富的知识库和策略库,包括决策树、聚类、回归、神经网络等算法模型对数据进行“提纯”,解决实际应用中传统统计方法难以解决的问题。
同时,数据分析引擎还可以对接第三方算法模型和第三方工具,如spark。
2.24容器管理
统计分析:
数据业务实现平台内置柱状图、线型图、饼图、表格、面积图等多种图表形式,同时提供定制化应用程序和报表内容。
5-10分钟即可制定好需要的报表数据,报表可随时转换为仪表版模式。
iHolstein数据业务实现平台采用平台+应用的模式,通过平台提供的采集、索引、分析等基础功能和API接口,可以根据不同的业务逻辑构建不同的数据应用,做到“一份数据,多种数据应用”。
2.25告警中心
可统一整合处理各种监控策略和监控功能点产生的事件,产生告警信息,并可按设定的告警方式实时将告警信息通知到对应的干系人。
根据相关数据情况,告警信息可包含业务影响范围(颗粒度可以细到业务模块、当前处理流程和节点及业务量)、预计恢复时间等。
可快速搜索、查看各种原始监控事件和告警信息。
以表格的形式展示监控策略名、日志源IP、告警类型、告警级别、告警时间、发送记录、处理状态及操作。
3.1系统账号威胁分析功能介绍
3.2系统账号安全态势
通过全局可视化安全视图,直观展现企业系统账号安全态势,帮助企业用户识别系统账号弱点、网络异常、潜在威胁,快速掌握企业安全状况,把握威胁事件发展趋势,全方位感知安全态势,包括以下安全视图:
系统账号整体安全态势,从系统账号威胁发现、系统账号策略合规、系统账号操作合规等多角度呈现系统账号安全问题,把握企业系统账号安全短板。
iHolstein学习用户、组、设备的行为,建立行为基线,并应用风险评分,风险评分根据风险事件、实体属性,如密码变更周期、密码强度、风险事件类型与数量等多个维度综合加权计算得出。
企业系统账号安全风险整体评分,数字化量化安全威胁,帮助企业管理者一眼看清企业系统账号安全现状,了解系统账号安全变化趋势。
如果一个安全事件发生,依据威胁的类型,风险评分将发生上升或改变。
基于风险评分的策略可以协助企业跟踪自身不安全系统账号与设备,并随着时间的推移,帮助它们变得更安全。
最近一周系统账号风险事件,通过气泡颜色、分值直观呈现系统账号风险事件,帮助企业了解近期系统账号风险事件分布情况,并提供快速入口进行风险事件处理。
3.3系统账号威胁隐患监测
通过系统账号策略合规检查、异常状态系统账号发现,事前监测系统账号安全威胁隐患。
可监测多类系统账号威胁隐含,如僵尸系统账号、弱密码、密码变更长周期、永不变更密码、无/弱认证方式。
3.4系统账号威胁活动监测
iHolstein提供了良好的安全可视化视图直观展示风险系统账号、风险设备、被盗用系统账号与特权用户的行为。
通过持续不断的监测与学习企业内网所有用户、用户组、设备的行为,如它们何时何地登录、它们的角色、系统权限、密码强度、你可以识别恶意行为或威胁。
海量行为数据的深度挖掘机器学习与异常行为分析,建立每个系统账号正常行为模式,监测所有系统账号行为偏差,深刻洞悉系统账号威胁,事中监测系统账号威胁活动,及时发现异常,快速响应。
系统账号威胁活动监测多类威胁活动,如系统账号猜测行为监测、密码猜测行为监测、系统账号盗用行为监测、堡垒机高危操作监测、系统账号/群组权限变更监测、系统账号群组异常监测。
3.5系统账号操作合规分析
事后行为审计与行为学习,保障系统账号管理合规,落实企业的系统账号安全管理要求,提高企业安全水平。
可分析多类系统账号操作过程的合规,如未纳入管理系统账号的发现、管理目标系统账号冗余分析、未纳入管理资产发现、堡垒机绕行登录分析、运维跳板登录分析。
3.6风险排名
风险排名从系统账号、机器、事件三个角度量化风险排名,包括系统账号风险排名、机器风险排名、事件风险排名。
系统账号风险排名,帮助发现高风险内部系统账号。
机器风险排名,帮助发现由于系统账号威胁引起的企业内部高风险机器。
事件风险排名,帮助发现由于系统账号威胁引起的企业内部高风险信息安全事件。
3.7系统账号安全管理
内部系统账号的集中安全管理,通过系统账号安全管理功能,可以全局系统账号类型、安全状态分布,检索关注系统账号,查看关注系统账号安全详情,发现系统账号安全问题。
系统账号管理功能主要包括:
风险系统账号级别统计、系统账号风险变化趋势、系统账号类型统计、系统账号安全状态统计、系统账号检索、系统账号安全详情。
系统账号安全统计:
系统账号检索:
系统账号安全详情,包括:
系统账号基本信息、系统账号风险、系统账号访问分析、系统账号合规分析。
3.8系统账号风险事件管理
内部系统账号风险事件的集中管理,通过系统账号风险事件管理功能,可以全局风险事件类型、事件处理状态分布,检索关注系统账号、机器的风险事件,查看风险事件详情,及时响应事件处理。
系统账号风险事件管理功能包括:
风险事件类型统计、风险事件变化趋势、风险事件类型统计、事件处理状态统计、事件检索、事件详情、事件处理。
风险事件统计:
风险事件检索:
风险事件详情及处理:
4.1防火墙安全威胁分析功能介绍
4.2安全策略分析
➢安全策略使用状况分析及对象使用状况分析报告
iHolstein-FWPOA记录每条安全策略的被使用情况,并且通过图形化方式显示策略利用率报告。
通过这个报告,你可以查看某台防火墙上安全策略的利用率状况,或者哪些策略是长期以来没有被使用过。
管理员通过该报告可以调整防火墙安全策略的顺序,或者删除删除长期命中率为零的安全策略。
➢访问路径分析
➢冗余及无用安全策略分析
随着网络复杂度的提升,防火墙的策略也变得日益庞大,而其中通常有大量的无用,或者冗余的安全策略。
过多的安全策略严重降低防火墙的性能及效率。
通过iHolstein-FWPOA管理员可查看哪些安全策略是不必要的冗余配置。
可以根据该报告清理多余的安全策略。
➢安全策略收敛及流量分析
许多防火墙上均会存在一些过于“宽松”的安全策略,包括允许了过多的IP地址、允许了过多的服务端口,或者直接是’any’类型的安全策略。
这不符合安全策略配置的一般性原则,需要进行“收敛”。
这需要了解这些安全策略下的流量状况,包括特定应用流量的占比,如HTTP流量百分比多少,TCP端口443的占比多少等。
通过FWPOA的TrafficFlowAnalysis功能,管理员可查看任何一条安全策略的流量详细信息,包括各种应用的占比等。
管理员可以根据该报告制定更加有针对性、更加准确的安全策略,从而提升防火墙的安全性
4.3安全策略性能分析
➢机器学习方式智能分析结果,无须人工干预;
iHolstein-FWPOA记录每条安全策略的先后顺序,根据内置强大分析引擎,自动识别出防火墙策略配置时常常被忽略的五大规则:
屏蔽规则、交叉规则、反向屏蔽、冗余规则和宽泛策略。
五类规则示意图如下:
屏蔽规则示意图
交叉规则示意图
反向屏蔽示意图
冗余规则示意图
➢最短路径,最佳推荐算法;
iHolstein-FWPOA根据静态安全策略与动态流量相结合的技术,给客户推荐最佳的策略排序方式。
4.4配置及变更管理
➢自动获取防火墙配置信息;
某些比较老型号的防火墙,不具备主动通知变更的功能,iHolstein-FWPOA会根据系统会根据管理员的要求,定时去防火墙获取系统的配置信息。
➢配置的变更监控;
➢实时告警变更通知;
iHolstein-FWPOA会实时监控防火墙,当防火墙的配置或者安全策略被变更时,
指定的管理员会实时收到FWPOA发来的邮件或者短信通知,告知管理员配置的变更以及变更状况。
➢智能识别安全配置;
防火墙配置信息内容,包含策略、账号、对象等信息,iHolstein-FWPOA自动识别哪些是安全策略配置信息,其他内容均会忽略。
➢防火墙配置比对:
同一台防火墙不同时间点配置的比对,以及不同防火墙安全策略配置的比对
记录每次防火墙配置的修改,包括修改的详细技术信息。
并且可比较不同时间点的配置的异同,并详细标记差异之处,使得管理员清楚地了解配置的变化,以及变化的过程。
4.5可视化分析报告
➢智能分析报告展现;
图表1架构图
4.6风险分析
➢深度学习,自动检测异常流量;
iHolstein-FWPOA内置机器学习算法,通过对防火墙流量数据的分析,建立一定时间段的协议、源IP地址、目的IP地址、用户(系统不支持则不分析)、应用(系统不支持则不分析)总体统计流量数据,形成基线数据。
系统自动预测每日的高分位浮动基线数据和低分位浮动基线数据,对于高于高分位和低于低分位浮动基线数据数据进行告警;
➢自识别高危协议;
iHolstein-FWPOA内置机器学习算法,自动识别哪些协议及端口存在潜在的风险,
有可能会导致黑客绕过防火墙而侵入内网。
如Telnet,ftp,snmp,pop等协议。
通
常情况下,在防火墙域间(在Internal,DMZ,External之间,或者在开发环境和生产环境之间):
这些高危的协议是被认为有很大风险的,因为他们明文传输一些敏感数据。
任何使用这些高危协议的都应该从策略和使用上进行监控的。
4.7合规检查
➢PCIDSS,ISO27001等国际标准规范审计
➢自定义安全规范审计
➢防火墙安全策略合规性检查的“利器”
5.1价值
•让用户将数据低成本、高效率“玩”起来并能创造智慧。
•360度洞悉企业系统账号安全威胁,让系统帐号的全生命周期闭环管理得以实现。
•洞察防火墙上配置的安全合规情况、配置变更情况,识别穿越防火墙的网络异常行为,让防火墙名副其实。
6.1典型案例
6.2某银行业务交易分析
该客户的业务办理渠道、运营支撑部门经过多年的建设,积累了海量的业务数据,在日维过程中经常会碰到的问题严重地影响了业务工作的正常开展,例如:
•问题的处理滞后,往往是有报障之后才排查。
无法及时、提前发现。
•缺乏对业务交易状况的监控,无法深度分析业务交易的异常根源(RCA)。
•无法将分散的各个交易,以业务为线串起来,实现端到端的业务交易监控。
因此如何有效地监控这些业务系统,及时准确地发现系统中存在的问题,进而优化运行参数改进,已经成为客户在业务运营和监控等方面的热点问题。
部署方式
单机部署
数据源
交易类日志,20G/天
性能指标
16394EPS
自2015年6月份上线后,通过利用iHolstein机器数据分析平台将海量业务数据进行统一采集和分析,对不同子系统(POS、网银、支付清算、手机银行等)产生的交易日志进行交易事务还原、关联分析、深度分析、定位根源问题:
客户收益:
•外围系统的运营优化:
相对孤立的单一业务系统接入,减轻了目前运维人员的运维难度,提升了运营过程中的运维效率。
•核心系统的运营优化:
省前置系统、安全平台系统等核心系统的接入,将各个相对孤立运营管理的系统进行了有效串联。
•
统一的管理运营:
系统提供的统一业务视图,最大化地发挥了各系统融合后的运营整合能力。
6.3某移动省公司DNS数据分析
通过域名访问互联网,是目前互联网业务的主要访问方式。
所有通过域名访问互联网的业务,都必须通过DNS进行域名解析,获得目标网站的IP地址后,才能正常通信。
而目前大多互联网内容资源的调度,也是采用域名进行调度。
因此,通过对DNS解析日志进行分析和深度挖掘,对DNS解析本网率、用户访问本网率、资源引入本网率进行分析,能够对互联网资源优化、用户行为分析、业务数据创新提供数据支撑。
根据工信部电管[2009]188号“工业与信息化部印发《关于加强互联网站备案管理的工作方案》的通知”要求,为加强互联网网站备案管理工作,提高网站备案率和备案信息准确率,中国移动计划进行网站备案管理系统建设,需各省DNS系统配合完成相应的改造工作。
部署方式
单机部署
数据源
DNS解析日志,120G/天
深圳市大讯永新科技有限公司为西藏移动提供了DNS系统日志分析与优化服务。
实现了对DNS业务质量的持续监测和考核;推动了互联网重点业务质量的提升,完成了集团的相关接入要求。
性能指标
25000EPS
客户收益:
o实现了多项DNS指标的分析。
监测DNS解析质量,为互联网资源优化、用户行为分析、业务数据创新提供数据支撑。
o帮助管理层实时地对整体网络解析质量的情况进行监控,并提供了直观的可视化呈现。
o直接帮助客户从DNS解析质量全国排名倒数转变成全国排名第二
6.4某大型速运集团智能运维
该事业部目前有250多个应用系统与核心设备,每天产生10TB左右的日志数据,在日常工作中面临了如下问题,给日维工作带来了极大挑战:
o日志体量庞大,存储相对零散、无法统一管控
o业务系统节点繁多,无法对整个业务流程进行有效地监控分析
o无法及时、准确地进行故障定位和告警
部署方式
4台组成分布式集群部署
数据源
三类业务数据,每天总日志量为12G
性能指标
17986EPS或者13Mb/s
自2015年12月24日上线后通过iHolstein机器数据分析平台进行日志的集中采集和管理:
客户收益:
o对分散的IT设备、应用系统、中间件等日志进行统一地收集、筛选、存储、搜索、分析及展示。
o将分散的、跨系统的各个业务节点,以业务为线串链起来,帮助用户实现了端到端的业务流监控。
o建立了高效、简便的全业务指标监控视图,帮助用户监控业务运行情况。
o深入洞悉业务细节,清晰地整理出失败的根源在哪里(RCA)。
提高了故障问题的快速定位,大幅提升了解决问题的效率以及客户满意度。
o对业务量、业务成功率等关键指标提供多维的分析统计;对关键节点的响应性能等提供预警,帮助用户监控业务使用情况,为运营决策提供了科学依据。
o和工单系统相结合,为智能运营提供了决策依据。
7.0典型客户
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据业务 一站式 实现 平台 方案