大数据时代互联网企业面临的机遇与挑战文档格式.docx
- 文档编号:21675352
- 上传时间:2023-01-31
- 格式:DOCX
- 页数:28
- 大小:182.65KB
大数据时代互联网企业面临的机遇与挑战文档格式.docx
《大数据时代互联网企业面临的机遇与挑战文档格式.docx》由会员分享,可在线阅读,更多相关《大数据时代互联网企业面临的机遇与挑战文档格式.docx(28页珍藏版)》请在冰豆网上搜索。
5.2互联网企业如何应用大数据………………………………………………33
结论…………………………………………………………………………………35
参考文献……………………………………………………………………………37
1绪论
随着互联网的发展,网络已经是我们日常生活中的必需品,互联网使用人数的增加,数据量也开始增多。
数据处理给人们在生活和工作上带来的便捷和效率,人们也开始投身于对大数据的研究。
现今大数据的应用不仅仅局限于商业领域,在教育、国家政府、科研等各方面,大数据都已经开始在发挥着巨大的影响力。
所以大数据也将会成为当今社会的一种重要资源。
虽然大数据目前在国内还处于初级阶段,但是商业价值已经显现出来。
未来,数据可能成为最大的交易商品。
但数据量大并不能算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。
因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。
在他看来,未来大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。
近些年,大数据已经和云计算一样,成为时代的话题。
大数据是怎么产生的,商业机会在哪?
研究机会在哪?
这个概念孕育着一个怎样的未来?
企业如何应对?
一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备。
互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体,“大数据”,也正在演变成不可或缺的战略资源。
互联网、物联网每天都在产生大量的数据,这些庞大的数据资源,为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。
大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。
得大数据者得天下,是一些推崇大数据时代的变革者所坚信不疑的判断。
很多专家认为,在大数据时代,谁能有效的垄断数据,谁就有可能成为世界的霸主。
2大数据概述
2.1大数据时代产生的背景
进入2012年以来,大数据(Big
Data)一词越来越多地被提及与使用,人们用它来描述和定义信息爆炸时代产生的海量数,它已经出现过在《纽约时报》、《华尔街时报》的专栏封面,进入美国白宫网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国君证劵、国泰君安、银河证劵等写进了投资推荐报告,大数据时代来临据。
有人说21世纪是数据信息时代,移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。
我们在享受便利的同时,也无偿贡献了自己的“行踪”。
现在互联网不但知道对面是一只狗,还知道这只狗喜欢什么食物,几点出去遛弯,几点回窝睡觉。
我们不得不接受这个现实,每个人在互联网进入到大数据时代,都将是透明性存在。
各种数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·
金说:
“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。
”
2.2什么是大数据?
大数据(Big
Data)是指那些超过传统数据库系统处理能力的数据。
它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。
为了获取大数据中的价值,我们必须选择另一种方式来处理它。
数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。
如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。
而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。
即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。
对于企业组织来讲,大数据的价值体现在两个方面:
分析使用和二次开发。
对大数据进行分析能揭示隐藏其中的信息。
例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。
对大数据的二次开发则是那些成功的网络公司的长项。
例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。
这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
2.3大数据四个特性
海量性:
企业面临着数据量的大规模增长。
例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。
目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。
简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。
此外,各种意想不到的来源都能产生数据。
多样性:
一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。
然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。
其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。
高速性:
高速描述的是数据被创建和移动的速度。
在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。
企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。
根据IMS
Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。
易变性:
大数据具有多层结构,这意味着大数据会呈现出多变的形式和类型。
相较传统的业务数据,大数据存在不规则和模糊不清的特性,造成很难甚至无法使用传统的应用软件进行分析。
传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。
目前,企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
2.4大数据时代对生活、工作的影响
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。
“大数据”的影响,增加了对信息管理专家的需求。
事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。
而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。
一些处理大数据公司需要认真的对待这个问题。
例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。
到国庆之前很多人在网上搜索网游点,还有酒店,私家车的路线,根据你搜索我们知道哪个旅游点最热,那条路会堵,真正发生黄金周的时候提前可以知道,大家可以用微信短信研究发生的热点。
XX成立了定位事业部,以地图为载体,覆盖到餐饮、KTV、上商场等。
阿里有保护中心,在移动端加强与高德地图合作。
腾讯推出会员卡,加上财富通和搜搜地图,线上线下本地化营销你可以看到现在我们所有网络都要跟地图结合。
要跟位置结合,要跟本地生活结合。
大数据提供医疗这个同时谷歌判断每个一个城市产生流感,一旦这个地方有流感,网民会搜索我这个症状是不是流感,到哪个医院治好,谷歌跟这些判断哪个地方有流感,这个可以体现预测到。
我们利用短信、微博微信我们知道收集热点和舆情,腾讯对每个用户都建档案。
一个老头注册的时候说是18岁少女,无论用什么假名你在网上时间长了一定露出你的本性,他说我不但知道你是男的,女的,老的,少的,我还知道哪是神经病。
如果公安局要查神经病我可以提供一堆神经病的IP地址。
洛杉矶可以告诉你今天哪个街区会犯罪,今天是哪个地方多就巡逻那个地方,其他不怎么巡逻,发现大大节警力而且犯罪率下降。
现在进一步发展这是微软比尔盖茨,他对全世界员工讲话,现在只要找到一张比尔盖茨照片把比尔盖茨声音传过来,动嘴巴,口形和表情对应。
我让这计算机看一个猫,我看完以后让计算机看两万张没有看过的照片,找猫达到15.8%。
有一个大学教授搞人脸识别系统,你不要随便应答我就知道你张三李四来的。
大家在街上看到某个人带着不像自己的小孩,拍下来送到XX网站对比,如果对比率达到100%,XX就会通知家长来认。
手机都有摄象头,你只要一得手机就可以打开了。
你现在相亲,长多高多富都很难弄,他说我希望这个女的长的多漂亮,选一个你认为漂亮的女生一对脸,在网站找一个差不多的就会提供你这样的女生。
大家有这么多访问谷歌,网上有这么多文章,我可以在这个里面找到例句,我根据规则,只要跟例句差不多就可以了。
现在翻译用途也是很多的。
XX可以看到这是昨天统计今日电影排行榜,小时代,环太平洋等我说有些电影不好看,我只管收集热,也可能骂得人多了也排在上面,不见得排上面最好。
前一段富二代,什么富春山居图,小时代什么不好的电影也上来了,我们可以看热点人物。
现在互联网企业当轻运营商,我们看到互联网现在企业除了管道需要运营商,现在其他东西都不需要依靠运营商都需要独立判断。
公安局有微信公众号,招商银行也有,这些都可以很好的各种各样的增值服务都可以出现。
电信运营商开展互联网活动,银行做电商互联网企业做金融,阿里控制电商的入口,腾讯主刀线交入口,他们希望向对方业务拓展,固定想做移动,移动想做固定,广播做电信,电信想做广播,运营的卖手机,手机的想做运营,现在很难区分大家的业务。
我们看到自留地要种,别的也要搞,现在整个是浑浊了。
电商和搜索会产生新的业态。
互联网产生大数据,移动互联网和物联网进一步推动数据的暴涨,网络中心体现去中心化,大数据促进了信息融合和产业跨界结合,大数据引发更多新业态出现,大数据对互联网发展是机遇也是挑战,是对我们国家互联网创新能力的一次大考。
3互联网企业的机遇与挑战
3.1互联网企业加速构建大数据生态系统
当前,大数据产业风起云涌,互联网企业、运营商加速角逐。
运营商在数据的真实性、广泛性方面有着优势,但在数据深度方面逊色于互联网企业。
面对实力雄厚的运营商,互联网企业利用对用户需求把握更精准的优势,纷纷构建基于自身数据平台的大数据生态系统。
而运营商受制于体制机制的因素,大数据商业应用推进缓慢。
运营商如何才能更好地应对大数据产业浪潮呢?
互联网企业加速构建大数据生态系统。
当前,互联网企业正加速抢占数据入口,建立数据平台,构造基于自身数据平台的大数据生态系统。
在基础设施方面,谷歌全球36个数据中心均采用了领先的云计算技术和架构,并斥巨资参与承建跨太平洋海底光缆、美国境内光缆;
在大数据技术方面,其自主创新技术在全球领先,谷歌公司的工程师发表了多篇关于大数据的论文,通过开源方式向业界扩散,主导技术方向,为了加快大数据技术的整合,谷歌并购了数个与大数据技术密切相关的互联网公司;
在人才方面,谷歌不惜重金聘请有真才实学的人,并给员工提供了极为宽松和自由的研发工作环境;
在数据获取方面,除了谷歌早期的搜索引擎外,谷歌的其他产品,如图片数据、翻译行为、位置数据谷歌地图、社交数据、视频数据、游戏数据、邮件等都为谷歌的大数据研究和应用提供了海量数据。
目前,谷歌的大数据产品线已经初具规模,主要包括盈利性很强的精准广告及比较成熟的谷歌趋势、谷歌分析、谷歌机器翻译、谷歌拼写检查等,谷歌也保留了其大数据在社会公益上的一些应用,公开披露的数据包括疾病预测、反人口贩卖等方面。
国内的互联网企业在大数据方面比较成功的是淘宝。
淘宝依靠对买家和卖家的服务,积累了大量的数据资源,淘宝网上有超过10亿件产品,无数的用户每天有30亿以上的浏览、评价,以及几千万次的成功交易,提供了有针对性的大量真实数据,在贸易、商品和生活领域,淘宝具有得天独厚的优势。
为了有效利用这些数据,淘宝由浅入深、由简到繁建立了一套大数据的采集整理和挖掘平台,一方面更好地满足了买家和卖家的需求,另一方面也在零售、批发和宏观经济预测方面有了权威的声音。
借助大数据平台,淘宝领先破冰了互联网金融,其拳头产品余额宝将掀起金融行业的变革。
国内互联网企业在大数据方面大力耕耘的还有XX、腾讯、苏宁、平安、国美等公司,他们都有不错的应用和业绩。
通信运营企业
大数据商业应用相对滞后,反观通信运营商,虽然拥有较为全面真实的数据资源,但受制于体制以及数据深度不足,在大数据商业应用方面存在一些问题,应用相对滞后。
与互联网公司相比,运营商要将资源优势转化为经营优势,尽管三家运营商在大数据应用方面有一些差别,但都面临几个方面的共同障碍,包括:
——自身IT系统设施滞后。
缺乏统一数据体系,数据的集中化、统一化、标准化还需进一步提高;
缺少统一开放的平台为SP/CP或者大中型企业提供开放的API接口;
ERP、人力资源、工程项目、采购和部分财务管理无法集中数据互通共享。
——产业链的组织没有统一有效的考虑。
运营商、集成商、设备商之间产业链环节多,需求传导慢,难以适应大数据所需的快速迭代需求,难以在成本和速度上与互联网进行有力竞争。
——内部机制陈旧。
运营商内部大部分管理者在理念上对大数据还是一个概念阶段,在驱动力上都还停留在一个比较传统的阶段,大数据还是处于研究人员的试验阶段,考核的内容和指标尚没有一个明确的框架,经营管理中大数据元素还没有真正地融入运营体系之中。
——大数据方面的人才匮乏。
由于大数据技术还是一个比较新的东西,需要一段时间学习,此外,在国企内部员工的主流价值观和话语权还是取决于管理级别的高低,在大数据方面的成长并非是一条轻松之路。
运营商的应对之策:
开放合作提升价值
那么,在现阶段的情况下,运营商如何才能抓住大数据的快速发展机遇呢?
一是,内部用好大数据是运营商的当务之急。
大数据的应用主要是为运营商其他业务提供后台智能化支撑。
运营商王牌业务仍然是宽带和流量产品,大数据内部应用侧重为这些业务提供支撑。
为此,运营商需要识别出能够采用大数据取得最大效益的内部应用方向,将外部业务需求转换成实际的数据需求。
运营商做好大数据的使用,应该聚焦在两个目标:
降低运营成本和提升用户体验。
二是,面向外部,开放合作才是运营商价值转化的必由之路。
与互联网企业相比,运营商在大数据信息化市场运作中存在不足之处。
因此,运营商要将大数据服务向网络产品外的领域拓展,需要借助第三方,以便作为大数据提供者的角色出现,对政务、公共服务、商业企业领域等提供大数据服务。
3.2互联网企业现状
3.2.1XX
XX作为中国最大的搜索引擎,在中国和中文互联网领域各项排行中不是最大就是最多。
2012年,XX日均抓取约10亿网页,处理超过100PB(1PB=1024TB)的数据。
过去10年,XX网页搜索库已从500万猛增到了500亿个页面。
从公开的材料看,XX的大数据战略往往与云计算XX作为中国最大的搜索引擎,在中国和中文互联网领域各项排行中不是最大就是最多。
从公开的材料看,XX的大数据战略往往与云计算相关。
3.2.2腾讯
腾讯自称“目前中国最大的互联网综合服务提供商之一,也是中国服务用户最多的互联网企业之一”,拥有超过7.52亿QQ即时通讯活跃账户,1亿微信用户、4.25亿微博用户和超过1亿的视频用户。
在积累了个人用户多方面的海量数据后,2012年腾讯提出了“大数据营销”的概念。
腾讯网总编辑陈菊红表示“将从这些海量数据中挖掘、分辨出用户的行为模式、兴趣偏好等,打造专属于每个人的智慧门户。
”腾讯不仅在各大产品线中都设置了数据挖掘团队,还在和一些第三方数据挖掘公司、营销公司展开合作洽谈,充分挖掘用户在网上的行为、关系、UGC(用户产生的内容)等数据,“通过合理的方法找到对企业有帮助的数据,并且将营销预算合理的分配在为数众多的数据来源平台上”,从而提高营销效率。
2011年4月腾讯追加在天津的数据中心建设投资,欲建立亚洲最大的数据储备处理中心。
3.2.3阿里淘宝
相比中国用户最多的两家互联网企业,淘宝在大数据方面的举措丝毫不逊色,因为几乎所有淘宝业务都依赖淘宝数据库。
每天大约有6000万用户登录淘宝网,约20亿页面浏览量(PV)。
淘宝所使用的OceanBase分布式数据库,在基准数据和增量数据基础上,实现不同部门对数千亿条记录、数百TB数据上的跨行跨表事务共同完成,并支持每天4000~5000万的更新操作。
早在2009年淘宝便自建大型数据库,并通过对全国淘宝购买数据的挖掘发布了2011年淘宝中国地图,对其掌握的大量用户交易数据进行了形象的展示。
在利用大数据为提高用户购物体验的旗号下,淘宝根据长尾原理充分利用大数据挖掘技术,建设开放平台,提供各种增值服务。
3.2.4中国移动
作为中国最大的移动通讯运营商,截至2012年4月底,中国移动用户数已经达到6.7亿。
同时,中国移动正在谋求从移动运营商的管道角色向客户端制造和云端服务两个方向发展。
而大数据业务的投入,为此提供了机遇。
2011年第四季度中国移动先后与内蒙古自治区和黑龙江省签署合作协议,在呼和浩特、哈尔滨建设全国规模最大、技术最先进、能耗最低的云计算数据中心。
2012年2月又确定在成都建立西部最大数据中心,完成了其在国内数据中心的三大数据基地布局.
3.3大数据时代的互联网面临的问题
在大数据时代,传统公司都羡慕互联网公司的能够掌控海量数据。
但玩好数据这件事其实并不容易。
3.3.1互联网生产大数据
城市现在都有摄象头,一个小时产生很多的数据,几十万个摄象头,数据达到数百个TB,所以这个数据非常大。
除了政府以外企业产生大数据波音飞机,每个飞机来回都产生TB的数据。
每几毫秒都测一个数据,每年数据很大,国家电网公司到去年10月份他收集数据很大,中国联通对用户上网都有记录,一个月记录一万多条,对应的数据量是几百个TB。
医疗也是一个大数据人们看医院的病例可以看到,医疗数据一个大脑的CT扫描图要让它分辨率很高,微米的数据量产生是4.5TB的数据。
现在像北京大学301医院门诊量一万人,同时按照医疗规定一个患者的数据要保存50年。
这个图上广州中山大学医院,2008年这个医院数据是100个TB、到2013年是1000个TB。
淘宝网去年光棍节每分钟几十个TB的数据,腾讯每天有5万次计算,所以你可以看到网络有很多大数据,更多的数据量产生。
美国的网站每分钟有72小时视频监控上载,互联网达到720TB每秒,相当于全世界有6亿人同时看不同的高清电影。
2016年互联网三分钟传授300万小时的视频,相当于所有全世界生产电影,要34年不吃饭不睡觉才可以看完电影。
最近美国网站上载的网量等于美国三大电视台所有电视播出总和。
今年五月份中国视频网有3.95亿,当时统计网民是5.95亿。
这个图象左边图是互联网的网民人均一个月使用的流量,08年达到一个G,到明年人均下载流量超过十个G。
现在大概全世界新产生的数据量每年增加14%,也就是说互联网每两年翻一番。
2012年和2013年互联网所产生的流量等于人们有意识以来,一直到2011年所产生的数据量总和,两年等于一万年。
2011年全世界互联网总量1.8个GB。
2020年全世界的数据达到40个GB。
这个重量相当于多少,相当于424艘美国的尼美兹号航母。
3.3.2大数据变革互联网
大数据出现对互联网有很大的影响。
有一种方式是演进型的,还有不考虑和互联网兼容我们说革命性的也有这个技术提案。
两个方面技术提案彼此可以相用。
现在很难说哪一种更能解决,总得来说我们希望互联网更安全更可信的。
现在提的方式物理和逻辑分离,物理上有71个,和逻辑上分割办法对应不同服务,有视频的服务,数据服务,不同服务要求的服务质量是不一样的,所以物理上是一个网络,逻辑上可以组成不同网络,我们说把网络虚拟化,物理和逻辑分离。
其次传统路由器,有传送功能,也有控制功能,有业务功能,大数据出现我们发现网络上时空不对应,很难判断我哪个地方流量最高这个可以变的,因此现在变法把路由器网络控制功能抽出来,形成一个网络控制系统,把业务功能抽出来形成业务系统。
灵活实现控制平面的建构,对于大数据流量是一种改型。
随着流量增大,大部分流量过路多,落地少,凡是在光强上做的,就别在电厂做,凡是在IP上可以做的就不再IPO上做。
IPO总召唤转变为承载,这只是一个包装,不是做一个召唤的功能了。
召唤我们应该将来向召唤中心,要从承载分开。
另外就是传统互联网IP地址表示主机的身份这个很正常,移动互联网的出现这个计算机从这到这里,位置变了,用户的身份没有变。
身份和位置分离,身份在应用层面表示,这样分离好处支持移动性改变安全性。
到2015年所有的数据中心一半多以上都是云计算中心,都是大容量的。
云中心一般考虑放在什么地方?
一般考虑气候、能源工业,我们国家云计算中心会向高纬度地区集中,比如说内蒙一些凉快的地方迁徙,像谷歌把他云计算中心放在摩洛哥,因为那比较凉快。
数据中心大部分在北京、上海、广州,而未来数据中心会放在内蒙偏远的地方,将来云计算的出现会把用户以信息源为中心,向以能源为中心改变,中心节点发生变化。
过去我们上海、北京、广州是中心,现在随着大数据出现发现了不能这样做,我们需要增加这个数据和中心,美国网建互联中心有八个,我们现在有三个,中信部有计划增加这个中心。
全世界看来峰值国际流量增加3%,这个绝对值国际流量增加,相对值就是说拉丁美洲的用户到美国访问量占整个国家的流量比较,亚洲、欧洲、和非洲的。
尽管国际流量增加,但是国际流量占整个流量比例是下降的,直接互联导致全国互联网去中心化。
现在谷歌纷纷在中国香港等等地方上节点,这时候对外的访问没必要跨洋
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 时代 互联网 企业 面临 机遇 挑战
![提示](https://static.bdocx.com/images/bang_tan.gif)