中台系列之二数据中台2.docx
- 文档编号:12161187
- 上传时间:2023-04-17
- 格式:DOCX
- 页数:81
- 大小:3.29MB
中台系列之二数据中台2.docx
《中台系列之二数据中台2.docx》由会员分享,可在线阅读,更多相关《中台系列之二数据中台2.docx(81页珍藏版)》请在冰豆网上搜索。
中台系列之二数据中台2
11、数据中台与工业互联网平台
原创:
郭朝晖蝈蝈创新随笔
蝈蝈创新随笔
微信号guoguo_innovation
功能介绍只是把思考的日志搬到了公众号上,不当之处请多包涵。
2019-04-10
最近,“数字中台”的说法突然热起来了,宣传和批评的声音都很大。
当我看完第一篇文章时,就大吃一惊:
对灵活性的认识怎么与诗万兄的思想如此接近?
诗万是美国工业互联网协会架构组的主席,设计开发了ThingsWise工业互联网平台。
目前是我在优也的同事。
前几个月我一直在问他:
国内外的工业互联网平台很多,ThingsWise到底有什么不同。
在我看来,工业互联网领域的很多说法都差不多、彼此大同小异。
诗万和我讲过几次,我没有完全听懂。
直到不久前问了同事,从开发者的角度看,才真正搞清楚。
原来,ThingsWIse的优势在于灵活性。
这种灵活性是针对工业大系统(或者叫系统的系统:
SOS)的、维护阶段的灵活性,便于增加或者修改功能。
如果把过去开发传统软件系统比作“建大楼”,在ThingsWise系统上开发一个功能就像搭帐篷。
增加一个功能时,工作量和难度降低了、也不容易出错,还容易促进不同专业人士的分工协作。
为了做到这一点,诗万采用了分层的架构和数字孪生技术。
其实,我不久前才意识到:
数字孪生技术居然会有这样一个用处,让我对诗万倍加敬重。
在半小时前,看到寄云时总转发了一个关于数据中台的帖子。
他评论道:
“正当陷入僵局的时候,天空中飘来一声IT谚语:
软件开发中遇到的所有问题,都可以通过增加一层抽象而得以解决”。
想一想确实除此:
TCP/IP协议用了5层,ISO/OSI协议用了7层。
索为的众工业平台是在各种工业软件上加了一层。
凑巧的是,今天傍晚同事还对我说:
“ThingsWise和数字中台相比,数字孪生这一层是加出来的。
”
对于软件技术,我是业余水平。
别人谈论深入的技术问题时,我只能看热闹。
但作为软件专业的“三脚猫”,我能够体会到:
为从事日常生产的产线开发新系统是件麻烦很大的事情,风险也很大。
于是,很多可做可不做的事情,最后往往不做了。
这一点,不利于系统的持续改进。
根据我的研究,推进智能化、工业互联网最好的切入点是用相关技术提高企业的管理水平,减少各种跑冒滴漏。
而这必然是一个长期、持续改进的过程。
最好的做法是:
系统要不断添加新功能、改善原有的功能。
这意味着:
对中台或者平台来说,灵活性强是个极其重要的要求。
我知道,阿里一直想进入工业领域。
平心而论,我一直没把阿里的宣传当成一回事。
这一次却让我着实吃惊了一下。
当然,中台是来自商业互联网领域的体系是否适合工业,还很难说。
12、数据中台是真火还是炒作?
原创:
筱愚她爸凯哥讲故事系列
凯哥讲故事系列
微信号shikai590
功能介绍精益数据创新体系创始者,数据驱动的数字化转型的倡导者,15年以上企业信息化,数字化转型实践者,数字化转型架构师。
2019-11-04
数据中台真的火了么
马云老师在2019年说了一段话,“很多人会把数据比作石油,我们现在搭建的数据中台,就是希望扮演发电厂的角色”,这一段话,现在被大众认为是“数据中台”这个概念的起源。
在2019年的企业服务市场,中台概念之下的数据中台,铺天盖地而来,裹挟着行业里的甲方乙方,大家都在讨论,思考,也不乏争议和质疑,但是有一点,似乎数据中台火了。
那么数据中台是否真的火了呢?
我做了一个小小的研究,利用XX指数作为参照指标。
XX作为行业里中文搜索里基本垄断市场的王者(虽然我认为,搜索作为互联网的基础架构,XX已经做烂了,而且如果XX做的好一点,出现头条,微信这样的私域流量的内容巨头的可能性就小很多,但是目前,我们还是必须面对,XX占据中文搜索的大部分市场),能够客观地反应中文语境下,一个概念的受关注程度。
XX指数就是量化的体现受关注度的一个指标体系。
XX指数分为两个体系,一个是搜索指数,一个是资讯关注度。
搜索指数体现有多少人搜索了这个关键词,资讯关注,是这个关键词在各种媒体资讯中出现的频度。
资讯关注度,很多时候受关度键词相关方的市场推广,软文,通稿的影响,体现关键词相关方在这个概念推广方面的努力程度和传播广度。
搜索指数,是所有在搜索引擎上搜索了这个关键词的次数的统计,相对真实的体现行业对于关键词认知和热度。
所以,我们更多的将关注搜索指数。
为了客观地体现数据,我将数据中台,数据仓库和中台,三个关键词作为组合研究。
“中台”和“数据中台”
我们先看一下“中台”和“数据中台”的搜索指数。
上图清晰的体现了中台和数据中台的,搜索指数,绿色的是中台,青色的是数据中台。
从2012年开始,中台这个词就有被搜索,出现的最早,但是一直停留在一个比较低的搜索数据,不到20的日均值。
数据中台在2018年6月4日,一下子突破了100的搜索日均值,然后一直保持上涨趋势。
在2019年5月13日到2019年5月19日,网络对于数据中台的关注暴涨,直接达到497的搜索日均值。
这期间,中台被搜索的日均值还是0.
接着,2019年5月20日到5月26日期间,中台的搜索数据,突然崛起超越了数据中台。
在2019年9月26日,中台的搜索热度达到历史顶峰,日均搜索1667。
当然,这个直接可能的原因就是,2019年的云栖大会是9月25日到9月27日开的。
“数据仓库”和“数据中台”
说到数据中台,就不避免的谈到数据仓库,数据仓库作为过去十几年企业数据领域的主要承载平台,一定程度上推动了企业的数字化转型,那么我们来看看行业对于数据仓库和数据中台的关注度的关系。
上图是数据仓库和数据中台关键词的搜索指数。
我们可以看到,从2011年以来,数据仓库一致以来保持着持续的搜索热度。
直到2018年6月4日到10日,数据中台略受关注,然后一路保持增长,直至翻转超越数据仓库的热度。
发生转折的时间点在2019件6月17日到6月23日,数据中台的关注度第一次超越了数据仓库,然后就一直保持着领先的态势,目前仍保持着高速的增长。
关键发现
从以上几幅图的数据分析,有以下几个关键发现(蓝色的线是数据中台,绿色的线是中台和数据仓库):
数据中台的受关注度早于中台
数据中台的关注度在持续增长并且超越了中台的关注度
从下图看出,中台展示出下降趋势,并且数据中台的搜索量最近超越了中台
数据中台和数据仓库的总体受关注趋势是一致的
数据仓库和数据中台的总体受关注度的趋势是保持一致的。
数据中台的受关注度已经超越了数据仓库
2018年开始启动的数据中台热度,在2019年7月份超越了数据仓库,并且目前持续走高。
从以上的数据分析来看,数据中台的确是火了,而且是在越来越受关注,越来越火。
数据中台现象的本质剖析
每一个现象的背后,都有其根本的原因,我尝试去理解和剖析数据中台火爆背后的根因,这个现象代表了什么样的诉求和变化。
还是利用XX指数,我发现,大数据的搜索量依然远超数据中台和数据仓库,并且趋势走向和数据中台也是一致的,但是大数据整体的热度,已经没有前两年那么火热了。
在今年三月份的时候,中国数据价值研究中心发起了一个数据中台的调研问卷,收到了超过400份的有效问卷,问卷中以下的数据可以帮助我们去剖析数据中台现象。
数据中台是一个体系
百分之百的参与调研的对象都认为,数据中台是一个体系,而不仅仅是一套软件。
所以,数据中台和大数据,数据仓库是有本质的区别的,大数据是一个愿景,是一个概念,数据仓库是一个具体的软件系统,而数据中台是一个体系。
数据中台对于企业的价值
在问卷中,有一个主观题,让所有的被调研对象填写他/她认为的数据中台对于企业的价值。
我将这个问题的所有的答案做了分词,做了词频统计,用如下词云的方式做了展示:
可以看到,前10名从上到下分别是(排除数据这个词):
业务,数据服务,价值,快速,场景,统一,赋能,资产,孤岛,打通
从这些关键词中,我们就可以看出,数据中台受企业关注,追捧,形成行业级现象背后的几个大的根因。
业务对于数据部门或者数据平台的需求从来没有变化过,那就是:
快速为业务提供基于统一,打通数据资产之上的数据服务,从而赋能业务场景,产生价值。
为什么是数据中台而不是数据仓库
这是一个很尖锐,但是直击灵魂的问题。
坦率地讲,我看过一些现在行业里打着数据中台大旗的产品和解决方案,但是,有不少都是挂着数据中台的名字,干着传统数据仓库的事情。
我从13年前就参与了多个企业级数据仓库的规划,咨询和实施。
包括Cognos、BW、Microstrategy、BIEE等。
我个人认为数据仓库和数据中台不是一个维度的事情,他们之间并不冲突。
数据仓库在数据中台时代是依然有价值的,并且可能很多时候,企业在构建自己的数据中台的第一步,就是构建一个数据仓库。
但是,企业在构建数据仓库之前,要有一个数据中台的全景蓝图,数据仓库的构建,只是为了填补这个蓝图中的一部分,数据仓库的构建不是数据中台的全部,更不是目标。
数据仓库,是一个相对标准化的技术平台,是可以有成熟的,高复制性的软件产品的,而数据中台则绝对不是,数据中台与企业的业务息息相关。
正如《中国数据价值研究中心-数据中台行业调研报告》中所调研的那样,超过60%的被调研对象认为,数据中台应该距离业务更近,是一个业务系统,而不是一个技术平台。
所以,数据中台是有的非常强的业务属性的,与企业的文化,业务模式,历史沿革,组织结构,绩效体系,流程治理都息息相关,这样的一个体系的平台,是不可能有标准化的,整体复用的解决方案的。
数据中台的功能体系
ThoughtWorks数据智能事业部在2017年的时候就提出了数据驱动的智能企业的愿景,以及支撑这个愿景的六大功能体系(那个时候,我们还不叫它中台,我们叫它数据资产创新平台,并且落地了行业里第一个跨5个产业板块,拉通数据,打通会员、订单和支付体系的数据资产平台)。
这样的一个体系很庞大,它的建设一定不是一天完成的,也不是安装一套软件,建几个应用就可以达到的。
所以,如何整体规划,探索并识别业务场景,并快速启动,持续产生价值呢,我们探索了一个体系(LDIM),精益数据创新体系能够帮助企业Top-Down和Bottom-Up联动的区建设数据中台。
数据中台的承载体系
数据中台是一个体系,它包括如下的构成部分:
战略和治理部分
数据中台是以数据作为原材料,加工数据服务支持各个业务应用和前端用户的一个数据业务系统。
既然是业务系统,那就就需要有业务战略和规划,企业需要制定清晰的数据战略,包括业务价值,业务场景的识别和规划,数据资产的规划和治理,以及技术战略,运营战略和组织结构等。
清晰的数据战略是数据中台落地的基础和前提,但是我们所提的又不是那种传统的做的很重,很细致的战略,是比较轻的精益数据战略和精益数据治理。
技术和平台
在战略的引导下,对齐业务价值优先级,企业要构建自己的数据技术产品和平台。
主要包括五大部分:
1.数据智能的持续交付平台,这是所有的数据服务、数据产品、数据平台的基础设施,保证自动持续的集成和交付,我们叫它DataOps和AIOps
2.数据自服务平台,数据平台是打通所有数据,存储,管理数据的基础设施。
3.面向业务的数据服务产品,这就是可复用的数据能力组件。
4.企业的机器学习平台,也就是智能服务平台,它持续的,生产,帮助企业规模化应用和落地人工智能,赋能所有的业务场景。
5.智能服务产品,基于机器学习,人工智能的智能服务,是可以复用的算法模型和智能服务。
组织和运营
数据中台不是一个项目,它为客户和企业内部其他部门,提供基于数据的服务和产品,是要和其他业务部门协作产生价值,并能够度量价值的,最终是一个可以独立运营的组织体系。
所以,在企业层面,数据中台对应的是一个组织部门,并且有套完整的运营体系。
构建数据中台的四个蓝图
如何构建数据中台?
我们认为企业需要构建如下的四个蓝图,我们用三个圈来表示:
业务蓝图
识别,梳理有价值的业务场景
构建价值全景图
结合业务战略,进行优先级排序
业务架构顶层设计
数据蓝图
分析数据现状
诊断数据问题
构建数据全景图
精益数据治理
围绕业务场景设计数据服务目录
技术蓝图
梳理技术架构现状
识别诊断现有架构问题
对关键点进行技术验证
设计数据中台架构
数据服务化技术赋能
运营蓝图
分析梳理,制定数据驱动的业务运营体系
构建数据运营团队,建立持续数据分析能力
构建数据价值度量和绩效体系,持续深化数据应用
数据中台承载着企业转型成智慧企业的愿景
回顾数据这个行业,其实很传统,很悠久,数据比软件这个行业诞生的更早,早在人们用笔,用纸记录,用算盘,用石子计算的时候,数据就已经被人们所认知并利用了。
在软件诞生之后,数据的利用可以分为四个阶段:
数据1.0
最早的单机软件时代,大部分数据是不被存储在计算机里的,只是计算的副产品。
数据2.0
到了ERP/OA时代,也就是企业信息化时代,企业需要跨域的数据分析,从而建立决策支持的能力,辅助企业管理,就出现了数据仓库和商业智能,这个时期,主要是对结构化数据的分析。
数据3.0
随着企业数据的多样化,业务对于数据分析的需求越来越多,不仅要分析结构化数据,还要分析非结构化数据,企业数据湖应运而生。
数据4.0
在数据仓库、数据湖的基础上,结合云计算的强大算力,机器学习,深度学习等人工智能的技术被广泛应用,这是挖掘数据价值的新的利器,从而让人们能够发现在统计分析之外的业务规律。
这个阶段的代表就是数据中台。
从数据1.0到数据3.0都有一个共同的本质,数据的利用还是以人作为用户,还是人看数据再去做决策影响业务。
数据4.0实现的跨越就是,数据中台的数据服务的用户,不再是人本身,而更多的是业务应用,数据服务将直接嵌套到业务系统中,去驱动和改变业务的发生。
数字化转型的第三个浪潮-智能化(IE-IntelligentEmpowerment)
穿过数据中台的各种资讯,各种创业融资,各种火热的信息的迷雾,我们看,数据中台到底承载了企业的什么样的愿景。
我们认为,数据中台承载的是企业智能化(IntelligentEmpowerment)的业务目标。
数据中台将成为企业业务拉通,融合,创新的生产力平台,从而将数据智能的能力规模化赋予所有的业务场景。
数据中台,任重而道远,也许明年,这个名词会改变,但是,企业对于智能的需求和愿景,是不会改变的。
13、数据中台是怎样炼成的?
原创:
TinaAI前线
AI前线
微信号ai-front
功能介绍面向AI爱好者、开发者和科学家,提供AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、AI论文解读。
每周一节技术分享公开课,助力你全面拥抱人工智能技术。
2019-11-05
作者|Tina
编辑|Natalie
AI前线导读:
今年,看到很多媒体判定数据中台“行业”有千亿万亿的市场,以及会出现超越BAT的企业,但是少有真正能讲清楚什么是数据中台的。
讨论技术的本质却是InfoQ的优势,我们采访了多家企业来探讨“数据中台”的本质和企业实践,数澜就是其中的一家。
我们对数据中台的探讨,有一系列的文章呈现,本文是其中一篇。
更多优质内容请关注微信公众号“AI前线”(ID:
ai-front)
“中台”战略在国内最初起源于阿里巴巴、华为等大型企业,在中台的基础上又分为业务中台、数据中台,目标都是把一些通用能力抽象到中台提供,达到资源复用以及快速适应前台业务变化的目的。
数据中台,将数据业务化,来供业务中台和前台业务系统调用,原来缓慢的调用,变成了毫秒级别的快速反馈。
数据中台这场风,一下子就席卷了大数据行业的各个角落。
很多不同类型的公司都声称自己可以搭建数据中台或是数据中台的一部分。
这场风里,每一家企业的数据中台都是独一无二的,基于数据平台之上,辅之以方法论+最佳实践打造而成,这与不同的企业自身的数字化程度以及行业属性、企业特性相关,主要有三类:
第一类是做大数据营销、SaaS的企业,这类企业主要是在做垂直的数据应用,解决特定业务数据使用问题,对非领域内的不提供解决方案;
第二类是数据库、开发平台类企业,这类企业并不关注业务;
第三类属于咨询、外包软件类企业,可以根据需求定制开发。
数澜认为前面的这三类企业定位均不相同,都只实现了中台的部分能力,导致三者都不可能建设出企业级数据中台。
数澜科技的创始团队,主要就是来自于阿里巴巴的数据中台部门。
其创始人风剑(甘云锋)曾是阿里集团数据平台事业部数据服务部负责人,是一手建立起阿里数据中台的骨干人物。
企业级数据中台建设
中国企业的大数据发展大概经历了三个阶段。
第一阶段,是2000年之后的企业内部信息化,中国许多大型企业开启了一波以数据库、ERP为主的底层IT建设,进行了初步的“业务数据化”建设。
第二阶段,是2004年到2012年,随着BAT纷纷上市,互联网经济的崛起,让数据思维深入各行各业,数据量慢慢壮大。
第三阶段是2013年之后,移动互联网的发展,一些金融、零售等大型企业响应“互联网+”概念,走向线上线下深度融合,这时数据服务的形式开始增多,业务维度更加复杂。
将数据用起来,随时随地分析企业情况进行精细化运营,企业需要打通老一代ERP、数据库等IT系统,同时还需要应对业务增多且快速变动的情况。
而且企业之间、各部门之间的数据往往都没有“共享”,运用不同的开发队伍开发平台和工具的不统一,这时,数据服务往往就是一个个从各平台伸出的数据“烟囱”。
但这些传统企业有数据积累,已经有了比较好的信息化基础,也有数据应用的场景,这些业务需要数据服务。
数澜的数据中台的核心市场需求正在于此,为传统企业提供企业级数据中台服务。
在传统企业市场里,数澜完成了“百果园”、“中信云网”、“万科”等企业的项目。
比如百果园是大型零售行业,用数据中台为消费者打造个性化定制服务。
而在大型央企中信集团项目中,更侧重于顶层设计和整体推进,赋能集团数字化转型。
在针对企业级数据中台的服务过程中,数澜给数据中台的下了个定义:
”数据中台是一套可持续的让企业的数据用起来的机制,是一种战略选择和组织形式,依据企业特有的业务模式和组织架构,通过有型的产品和实施方法论支撑,构建一套持续不断地把数据变成资产并服务于业务的机制。
“。
同时,数澜给自己的数据中台的定位是:
”数据库往上一点,ERP等应用往下一点“。
数据平台是数据中台的技术支撑,是中台的骨架,数澜的一站式大数据平台”数栖平台“就是”数据中台“的一个承载工具,在存储计算之上提供数据采集、数据开发、数据管理、数据服务,最终的数据服务要对接到业务系统或者数据产品。
ERP等应用软件产生的数据存储在数据库,通过数栖平台采集数据库中的数据,经过平台内部的加工、管理、服务化,再对接到ERP等应用系统。
数据中台是一种理念,强调的是一种复用能力,数栖平台就是数澜建立的一套提供公共服务的“模块”,数澜实施的项目有很多是尽量去复用已有的这个平台。
数据中台建设方法论
数据中台在企业落地实践时,结合技术、产品、数据、服务、运营等方面,逐步开展相关的工作,数澜在企业数据中台建设具体实践中的一些经验,主要归纳成5个关键步骤来完成这个建设过程。
第一步,理现状。
要了解业务现状:
梳理业务过程及核心业务指标、知晓现有数据应用情况,还要找到可能的创新点。
项目会选择最有可能的业务价值点,作为中台建设的验证,来看数据赋能业务的结果。
要盘点现有数据现状:
现有什么数据、还需要增加什么数据。
比如说企业的行为日志、机器日志都是资产。
要调研现有的IT现状:
比如采用的什么数据库、数据量、数据字段和更新周期等,以便后续更好地设计技术架构。
因为有一些信息系统非常封闭,如果数据不开放,拿不到一手数据,在DT时代就难以推进数据中台战略。
要了解现有组织架构:
以怎样的组织形态来保证中台的顺利推进,协助者是谁,服务对象又是谁,以及一些相应配合机制,这些都是上数据中台之前需要梳理的。
第二步,定架构。
根据现状形成整体的规划蓝图,形成技术产品、数据体系、服务方式以及运营重点等相关的方案,梳理确立各块架构。
企业信息架构经常谈到业务架构、技术架构、应用架构和数据架构都需要在这个阶段进行确认,这4个架构具体介绍如下:
业务架构:
如何保障数据中台能够适用于企业的业务运管模型和流程体系?
技术架构:
如何根据业务架构近远期规划,对数据的存储和计算进行统一的选型?
应用架构:
特指数据中台应用架构,如何为后面几个关键步骤的内容提供平台工具?
组织架构:
为保证中台项目的顺利落地,如何实现整体组织保障?
第三步,建资产。
结合数据架构的整体设计,通过数据资产体系建设方法,帮助企业构建既符合场景需求又满足数据架构要求的数据资产体系并实施落地。
这个步骤涉及数据汇聚、数仓建设、标签体系建设以及应用数据建设,其中最关键的是标签体系建设过程。
所谓标签体系是面向具体对象构建的全维度数据标签,通过标签体系可以方便支撑应用,大数据的核心魅力点和服务能力主要就体现在标签体系的服务能力。
数据资产分为四层:
贴源数据层、统一数仓层、标签数据层、应用数据层。
如下图所示。
第四步,用数据。
与直接调用不同,数据中台绝大多数是通过服务调用方式提供的。
服务的建设方主要是数据技术团队,他们把建好了数据体系利用数据引擎能力,生成数据服务API,再发布到数据服务市场。
在服务过程中,数据安全是不得不考虑的问题,哪些人能看到什么数字资产,能选择什么类型的服务都是需要严格审核的。
第五步,数据运营。
整个数据中台的建设、使用不是一下子完成的,绝对不是一个项目,是一个运营迭代的过程,用“看、选、用、治、评”的过程来保障整个数据中台可以持续运营、持续迭代,形成一整套闭环的机制。
企业通过多个组织之间的配合推进,会逐步形成企业特有的数据文化和认知,这是企业在数字化转型中非常重要但很难跨越的点。
经验总结
在数澜实施众多项目过程中,也曾总结了一些踩过的坑。
数澜江敏曾在TGO活动上讲到,数据最核心的能力即数据的连接,就是把一些看似不相关的数据连接起来之后,在解决问题时,就会有更多的视角去发现问题。
现在很多企业不知道如何利用数据,他表示企业对数据认知不清晰以及提不出数据应用场景的需求的原因,造成了”坐着金山啃馒头的现状。
每个公司都有一座矿山,有很多有价值的数据,但是这些价值一直没有发挥出来。
我们一位客户曾说过,他们的业务能力很强,团队抢了很多面粉回来,但最终没有把面粉变成面包而是坏掉了。
“
就算知道了数据的价值,也会存在其他的比如”数据墙“保护的问题。
数澜天湛在回答在项目实施中遇到最大的困难是什么时,他这样告诉我们:
”中台建设需要有全员共识,由管理层从上往下推进,由技术和业务人员去执行和落地,是个漫长的过程,所以实施数据中台时,最困难的地方就是需要推动力。
比如在中国有各种’数据墙‘,大家都觉得数据有价值
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 系列 数据