大数据专业导论Word文档格式.docx
- 文档编号:13003677
- 上传时间:2022-10-02
- 格式:DOCX
- 页数:20
- 大小:22.25KB
大数据专业导论Word文档格式.docx
《大数据专业导论Word文档格式.docx》由会员分享,可在线阅读,更多相关《大数据专业导论Word文档格式.docx(20页珍藏版)》请在冰豆网上搜索。
因此,在厂家可以负担得起大规模定制带去的高成本的前提下,要真正做到个性化产品和服务,就必须对客户需求有很好的了解,这背后就需要依靠大数据技术。
目录
目录 4
1.什么是大数据 5
1.大数据的特点 6
1.1数据体量巨大(Volume) 6
2.2数据类型繁多(Variety) 6
2.3价值密度低(Value) 6
2.4处理速度快(Velocity) 6
3.大数据的价值 7
4. 大数据对于我们生活的影响 9
4.1生活更便利 9
4.2安全有保障 9
4.3未来还有更多的改变 9
5. 大数据未来的发展趋势 10
5.1趋势一:
数据的资源化 10
5.2趋势二:
与云计算的深度结合 10
5.3趋势三:
科学理论的突破 10
5.4趋势四:
数据科学和数据联盟的成立 10
5.5趋势五:
数据泄露泛滥 11
5.6趋势六:
数据管理成为核心竞争力 11
5.7趋势七:
数据质量是BI(商业智能)成功的关键 11
5.8趋势八:
数据生态系统复合化程度加强 11
6. 政府对大数据的支持 12
7. 大数据目前存在的问题 13
7.1大数据安全隐患 13
7.1.1大数据遭受异常流量攻击 13
7.1.2大数据信息泄露风险 13
7.1.3大数据传输过程中的安全隐患 13
7.1.4大数据的存储管理风险 14
7.2大数据安全挑战 14
7.2.1个人隐私保护 14
7.2.2跨境数据流动 14
7.2.3传统安全措施难以适配 15
7.2.4平台安全机制亟待改进 15
7.2.5应用访问控制愈加复杂 15
1.什么是大数据
对于“大数据"
(Bigdata)研究机构Gartner给出了这样的定义。
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
[1]
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
[21
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理,必须采用分布式架构。
它的特色在于对海量数据进行分布式数据挖掘。
但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。
分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。
适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:
bit^Byte、KB、
MB.GB、TB、PB、EB、ZB、YB、BB、NB、DB。
1.大数据的特点
1.1数据体量巨大(Volume)
有IDC最近的报告预测称,在2020年,将会扩大50倍的全球数据量。
现在来看,大数据的规模一直是一个不断变化的指标,单一数据集的规模范围可以从几十TB到数PB不等。
也就是说,存储1PB数据是需要两万台配备50GB硬盘的个人电脑。
而且,很多你意想不到的来源都能产生数据。
2.2数据类型繁多(Variety)
由于新型多结构数据,导致数据多样性的增加。
还包括网络日志、社交媒体、手机通话记录、互联网搜索及传感器网络等数据类型造成。
2.3价值密度低(Value)
现实世界所产生的数据中,有价值的数据所占比例很小。
相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。
2.4处理速度快(Velocity)
指数据被创建和移动的速度。
在高速网络时代,创建实时数据流成为了流行趋势,主要是通过基于实现软件性能优化的高速电脑处理器和服务器。
企业一般需了解怎么快速创建数据,还需知道怎么快速处理、分析并返回给用户,来满足他们的一些需求。
3.大数据的价值
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。
m阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT的时代,DT就是DataTechnology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。
[4]
有人把数据比喻为蕴藏能量的煤矿。
煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。
与此类似,大数据并不在“大”,而在于“有用”。
价值含量、挖掘成本比数量更为重要。
对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。
[5]
大数据的价值体现在以下几个方面:
(1) 对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
(2) 做小而美模式的中小微企业可以利用大数据做服务转型;
(3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
不过,“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在海量数据中。
著名经济学家路德维希•冯•米塞斯曾提醒过:
“就今日言,有很多人忙碌于资料之无益累积,以致对问题之说明与解决,丧失了其对特殊的经济意义的了解。
"
这确实是需要警惕的。
在这个快速发展的智能硬件时代,困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。
企业组织利用相关数据和分析町以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。
例如,通过结合大数据和高性能的分析,下面这些对企业有益的情况都可能会发生:
(1) 及时解析故障、问题和缺陷的根源,每年可能为企业节省数卜亿美元。
(2) 为成千上万的快递车辆规划实时交通路线,躲避拥堵。
(3) 分析所有SKU,以利润最大化为目标来定价和清理库存。
(4) 根据客户的购买习惯,为其推送他可能感兴趣的优惠信息。
(5) 从大量客户中快速识别出金牌客户。
(6) 使用点击流析和数据挖掘来规避欺诈行为。
£
61
4.大数据对于我们生活的影响
4.1生活更便利
大数据让生活更加便利,提起大数据,大家应该都不会陌生,但很多网民都没有一个准确的概念,但说起来最近几年的变化与便利,很多人都能感觉到在出行交通、购物、生活缴费等方面有了很大的改变。
4.2安全有保障
在给市民生活提供便利的同时,大数据的应用也从多个方面为人们的安全提供了更加有力的保障。
近几年电信诈骗已经成为骗子行骗的重要方式,公安局利用人工智能技术对千亿级各类结构化数据进行分析,对特殊群体进行智能定性和危险行为精准预测,有效开展诈骗预警和犯罪事先预判,实现事后处置到事前的防范,随着预警系统的建立,大数据分析得出电信诈骗同比下降,立案率同比下降,破案率同比上升,保护了人民的财产安全。
除了公安局利用大数据系统保护我们的财产安全外,很多居民小区也运用“互联网+智慧社区”的方式为市民建立一道安全保障,入住人员进行实名制管理,并且对进入人员实现可控管理,小区居民在智慧社区平台实名注册登记及人像信息采集后,便可通过手机、身份证刷卡和刷脸进行开门。
大数据为市民提供方便、安全的小区进出系统的同时,还为我市公安、综治部门提供了小区门禁出入人员记录、开门影像保存信息。
这些信息能让相关部门对城市运行状态进行全面感知、态势预测、事件预警,为事故的溯源提供有力保障。
4.3未来还有更多的改变
交通、购物、就医、旅游、安全……过去数年间,大数据给人们的生产生活带来了很多的改变。
大数据应用其实就是信息化社会发展的一个重要阶段,而大数据的应用则给经济和社会生活带来了深刻的影响。
随着大数据的融合发展,智能化的综合网络将遍布社会各个角落,信息技术也将改变人们的学习方式、工作方式和娱乐方式。
一大批新的就业形态和就业方式将被催生,商业交易方式、政府管理模
式、社会管理结构也会发生变化。
同时,大数据也让人们对于未来有着无限期待。
11
5.大数据未来的发展趋势
大数据一度野蛮生长,在利益催化之下出现浮华泡沫;
但不可否认的是,在大数据时代,数据挖掘、分析,可以通过方方面面来影响我们的生活,不仅更便利,而且还直接可以提升幸福感。
那么,大数据未来的发展趋势有哪些呢?
美国PCMagazine总编辑柯斯塔表示,他认为大数据的发展趋势以数字汇流对未来最具冲击,结合物联网、区块链、人工智能、语音识别等技术,这些科技相辅相成。
未来大数据应用七大趋势
5.1趋势一:
数据的资源化
何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。
因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。
5.2趋势二:
与云计算的深度结合
大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。
自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。
除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
5.3趋势三:
科学理论的突破
随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。
随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。
数据科学和数据联盟的成立
未来,数据科学将成为一门专门的学科,被越来越多的人所认知。
各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新
12的就业岗位。
与此同时,基于数据这个基础平台,也将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 专业 导论