大数据应用解决方案文档格式.docx

大数据应用解决方案文档格式.docx

《大数据应用解决方案文档格式.docx》由会员分享，可在线阅读，更多相关《大数据应用解决方案文档格式.docx（26页珍藏版）》请在冰豆网上搜索。

图二

要理解大数据这一概念，首先要从"

大"

入手，"

是指数据规模，大数据一般指在10TB（1TB=1024GB）规模以上的数据量。

大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结（Vol-ume、Variety、Value和Veloc-ity），即体量大、多样性、价值密度低、速度快。

Ø

数据体量巨大。

从TB级别，跃升到PB级别。

数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

价值密度低。

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

处理速度快。

1秒定律。

最后这一点也是和传统的数据挖掘技术有着本质的不同。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。

解决大数据问题的核心是大数据技术。

目前所说的"

大数据"

不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。

大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。

因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

1.3.大数据技术发展

大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，而且未来急剧增长的数据迫切需要寻求新的处理技术手段。

如图三所示：

图三

在“大数据”（Bigdata）时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。

同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。

云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。

信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。

预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。

用于提取智慧的“大数据”，往往是这些非结构化数据。

传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。

但“大数据”应用突出强调数据处理的实时性。

在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。

全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。

Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未来3—5年内进入主流。

而“大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。

选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。

随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。

例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。

从某种意义上说，数据将成为企业的核心资产。

“大数据”不仅是一场技术变革，更是一场商业模式变革。

在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。

我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是Facebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，传统企业仍无法嫁接到互联网中。

同时，传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求。

企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。

在互联网时代，这些需求特征往往是在用户不经意的行为中透露出来的。

通过对信息进行关联、参照、聚类、分类等方法分析，才能得到答案。

“大数据”在互联网与传统企业间建立一个交集。

它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。

传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。

大数据正成为IT行业全新的制高点，各企业和组织纷纷助推大数据的发展，相关技术呈现百花齐放局面，并在互联网应用领域崭露头角，具体情况如下图四所示：

图四

大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增加，传统计算面临严重挑战，大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算技术是最理想的解决方案。

调查显示：

目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力，

2.大数据应用

2.1.大数据应用阐述

大数据能做什么？

我们那么多地方探讨大数据，无非总结下来就做三件事：

第一，对信息的理解。

你发的每一张图片、每一个新闻、每一个广告，这些都是信息，你对这个信息的理解是大数据重要的领域。

第二，用户的理解，每个人的基本特征，你的潜在的特征，每个用户上网的习惯等等，这些都是对用户的理解。

第三，关系。

关系才是我们的核心，信息与信息之间的关系，一条微博和另外一条微博之间的关系，一个广告和另外一个广告的关系。

一条微博和一个视频之间的关系，这些在我们肉眼去看的时候是相对简单的。

比如有条微博说这两天朝鲜绑架我们船的事，那条微博也大概是谈这件事的。

人眼一眼就能看出来。

但是用机器怎么能看出来这是一件事，以及他们之间的因果关系，这是很有难度的。

然后就是用户与用户之间的关系。

哪些人你愿意收听，是你的朋友，哪些是你感兴趣的领域，你是一个音乐达人，你是一个吃货，那个用户也是一个吃货，你愿意收听他。

这就是用户与用户之间的关系理解。

还有用户与信息之间的理解，就是你对哪一类型的微博感兴趣，你对哪一类型的信息感兴趣，如果牵扯到商业化，你对哪一类的广告或者商品感兴趣。

其实就是用户与信息之间的关系，他无非是做这件事。

大数据说的那么悬，其实主要是做三件事：

对用户的理解、对信息的理解、对关系的理解。

如果我们在这三件事之间还要提一件事的话，一个叫趋势。

他也是关系的一种变种，只是关系稍微远一点，情感之间的分析，还有我们政府部门做的舆情监控。

他可以监控大规模的数据，可以分析出人的动向。

在美国的好莱坞，这两年也是基于FACEBOOK和TIWTTER的数据来预测即将上映的电影的票房。

他也是一个趋势的分析，只是我们把这个趋势提前来。

核心就是这三件事。

2.2.大数据应用架构

2.3.大数据行业应用

2.3.1.医疗行业

1.SetonHealthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。

该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

2.在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。

通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

3.它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。

也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

2.3.2.能源行业

1.智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。

在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。

通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。

有了这个预测后，就可以向发电或者供电企业购买一定数量的电。

因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。

通过这个预测后，可以降低采购成本。

2.维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。

利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

2.3.3.通信行业

1.XOCommunications通过使用IBMSPSS预测分析软件，减少了将近一半的客户流失率。

XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。

此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。

2.电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。

3.中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。

系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

4.NTTdocomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

2.3.4.零售业

1."

我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。

公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从Twitter和Facebook上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：

高消费者和高影响者。

希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。

"

Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

2.零售企业也监控客户的店内走动情况以及与商品的互动。

它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

3.大数据解决方案

1.

2.

3.

3.1.大数据技术组成

大数据技术由四种技术构成，它们包括：

3.1.1.分析技术

分析技