云计算在数据挖掘技术中的应用精品资料.docx

云计算在数据挖掘技术中的应用精品资料.docx

《云计算在数据挖掘技术中的应用精品资料.docx》由会员分享，可在线阅读，更多相关《云计算在数据挖掘技术中的应用精品资料.docx（5页珍藏版）》请在冰豆网上搜索。

云计算在数据挖掘技术中的应用精品资料

云计算在数据挖掘技术中的应用

摘要:

伴随信息技术的不断发展，WEB数据挖掘技术也随之不断完善和成熟，逐渐被广泛运用于各行各业，其发挥的作用不容小觑。

云计算是信息存储的重大改革，很大程度提升了信息存储的容量和安全性能。

本文基于云计算的应用现状和技术分析，结合WEB数据挖掘技术的发展情况，对以云计算为基础的WEB数据挖掘技术展开深入研究，从而间接推动信息技术的发展。

关键词:

WEB数据挖掘技术;云计算;现状;应用

0引言

互联网的出现和发展很大程度改变了人类的生活习惯，与之有关的网络和互联网信息也日益丰富和复杂。

一般而言，WEB发挥着在大数据库中提炼有用信息的功能，而WEB挖掘技术则发挥着从挖掘出的信息之间发现其相关性和怎样将其应用于具体问题解决之中的功能。

目前，大量数据很难在一台计算机上进行处理分析，为了满足技术进步和社会发展的需求，云计算随之出现并快速发展，其凭借较强的信息存储能力、安全性能以及数据处理分析能力等，受到各行各业的广泛关注。

1云计算的应用现状和技术分析

1.1应用现状

WEB的发展经过了一个漫长的过程，随着信息技术的发展和电子商务的兴起，人们对互联网的应用日益频繁和依赖性日益加强，掀起了一股WEB2.0的发展热潮。

对于互联网企业而言，信息需求分析能力已成为衡量企业竞争水平的重要指标，特别是根据用户需求建设的这类网站，比如视频网站就需通过数据分析来进行网站功能设计。

总之，云计算的产生和应用有效解决了网络技术的一些发展难题。

在国内网民数量巨大且持续增长的背景下，越来越多的大型企业通过云计算来进行数据加工处理和分析应用。

1.2技术特征

通常来讲，云计算主要针对数据管理，主要对象是数据信息，其和信息技术有显著差异，具体有以下几点:

（1）广泛性。

存储技术是云计算的关键技术之一，采取分布式存储模式来提升存储容量和存储安全性，且性价比较高，实用性较强;

（2）数据管理能力较强。

云计算可实时监控大数据，可随时随地进行数据处理分析，同时可有目的地筛选出有用数据信息，技术先进，效率较高;（3）编程技术的先进性。

技术元素是衡量云计算能否满足客户需求的重要指标，是维持云计算系统正常运转的核心元素，由此可见，编程技术所发挥的作用无可取代。

当前，Map－Ｒeduce编程技术应用最为广泛，初期以树状结构呈现，分支之后还需其他编程技术来维护;（4）虚拟技术的应用。

虚拟技术在云计算中的应用较多，这是由于虚拟技术能有效配置网络资源，脱离各分支系统独立存在，在将各分支系统独立化的同时，还将数据信息也分割成大量的独立部分。

这种模式使得云计算系统的弹性较大，能灵活运用动态的虚拟资源，有效降低成本费用，提高网络资源管理的安全性。

2WEB数据挖掘技术的发展

2.1WEB数据挖掘技术的定义

WEB数据挖掘技术是结合WEB、信息技术、网络技术等对挖掘信息进行全面分析处理，WEB和数据挖掘的有效融合反映了较强的综合性，主要可分为基于内容、架构、应用等几种WEB数据挖掘技术。

就内容方面而言，是在WEB环境下，通过人工模式从相关文件夹中提炼有用信息;就架构方面而言，是采取人工方式挖掘不同的数据结构，再采取有关手段来提炼有用信息;就应用方面而言，是将挖掘主体存储在日志文件之中，再据此来挖掘出站点的用户信息。

因此，所谓的数据挖掘，即采取有关技术来提炼WEB文档中的有用信息，并据此来分析预测其未来发展趋势。

总而言之，WEB挖掘技术并非是一项简单的技术，而是多种技术的有效融合和广泛应用。

2.2WEB数据挖掘技术的种类

通常来讲，关于WEB数据挖掘技术的种类有多种分类依据，一般是根据其对象类别划分为基于内容、架构、应用的三种WEB数据挖掘技术。

就内容角度而言，其主要对象是WEB文档中数据信息，比如提炼出的图像、音频、视频等具体信息，且还可细分为纯文本数据挖掘和多媒体数据挖掘两种;就结构角度而言，其主要对象是数据架构，发挥着区分数据架构是组织架构还是页面架构的功能，并且还要对数据链进行详细分类，对WEB数据挖掘技术的效率和准确性的提升有显著作用;就应用角度而言，通过对WEB文档中的数据信息进行具体分析处理，来对用户类型进行详细分类，进而挖掘出更多的潜藏用户。

2.3WEB数据挖掘技术的流程

通常情况下，WEB挖掘技术的流程会受到较多元素的作用，和传统数据挖掘方式相比，其对象和手段有显著变化，所以其流程也有所差异。

如何将数据挖掘技术和WEB相结合是目前该技术发展的主要难题，这是因为WEB数据挖掘技术并非是有关技术的简单应用，而是一个有机整体，需要经过检索信息、选择信息、分析信息等一系列流程。

检索信息是对WEB文档中的数据信息或网站上的日志、新闻等内容进行查询分析;选择信息是对上一环节查询到的信息进行筛选辨别，去掉一些无用的数据信息，并对有用信息进行初步分析;分析信息是对待处理的数据信息进行深入的筛选辨别，提炼出有价值的数据信息。

关于WEB数据挖掘的整个流程，不仅需要自动化设备的辅助，还需要人工辨别的支持。

3云计算在WEB数据挖掘技术中的应用初探

3.1以云计算为基础的WEB数据挖掘系统架构

WEB数据挖掘系统架构是由几个节点相互关联形成的，云计算发挥着使WEB数据挖掘系统架构各节点相互作用的功能，从而促进WEB数据挖掘系统的完善化，具体架构图如图1所示。

主控节点是用户和其他节点关联的中枢纽带;算法节点则负责保证数据分析的相关算法支撑，类似于一个算法数据库;数据节点则是一个存储数据的大数据库;服务节点则发挥着控制任务进程和反馈分析结果的功能。

（1）服务层。

服务层是一个结合用户需求通过WEB数据挖掘技术来进行数据分析，同时将结果反馈给用户的过程;

（2）控制层。

控制层是通过主控节点来根据用户具体需求分析，选出最恰当的算法程序，保证算法程序和信息数据的契合度;（3）存储层。

存储层主要发挥着存储使用的算法程序、用户需求和最终反馈结果的功能。

存储层有效降低了原始数据或算法丢失的可能性，即使是系统故障，后续也可在数据和算法存储层找到相关的信息数据并且具有可恢复性;（4）业务处理层。

业务处理层将数据库中的原始信息通过主控节点来进行初步分配，在数据进行分析处理之后，再由服务节点将分析结果反馈到主控节点。

3.2以云计算为基础的WEB数据挖掘算法程序

一般情况下，以云计算为基础的WEB数据挖掘算法程序的基本步骤如下:

（1）结合用户需求来明确可信度，这种用户需求通常是通过WEB网页传递过来的;

（2）WEB网页客户端向主控节点发出服务指令，数据节点会向主控节点传递原始数据，同时将服务节点分析的结果反馈到主控节点;（3）主控节点将信息数据传递给算法节点，从算法程序数据库中选出最优的数据挖掘算法程序，再分配至各服务节点;（4）各服务节点会有目的的筛选数据，并对信息数据进行整理分类，通过Apriori算法得到数据库的频集;（5）将分析结果反馈至主控节点，获取整体数据库的频集，再将其传递至各服务节点，提高节点上的频集准确性。

如此反复，再将服务节点的分析结果反馈至主控节点，从而提高整体频集的准确性;（6）主控节点将最终结果反馈给用户。

3.3算法结果分析

算法程序结果的检验有赖于实验数据的支持，据分析结果显示，算法效率和信息量的关系成正相关，并且传递时间有差异，算法程序的传输时间要少于数据传输时间。

与一般算法相比，WEB数据挖掘算法有显著不同，可通过改变其他算法来获得新算法程序。

基于云计算的WEB数据挖掘算法是一个整体算法，各节点联系较强，有效避免了有效关联规则遗漏的问题。

4结语

总而言之，WEB数据挖掘技术是对通过WEB文档或其他网络手段提炼的信息进一步加工处理、分析运用的技术，其可结合人们的生活习惯和模式来掌握人们的具体需要。

互联网的发展使得网络信息量呈几何式增长，对信息存储容量和数据分析能力的需求也有所提高，怎样突破技术限制来挖掘出有效的网络信息是目前互联网行业面临的主要问题。

而云计算较强的信息存储能力和数据计算能力，使得其受到互联网行业的充分重视。

基于云计算的WEB数据挖掘技术可统一管理控制网络资源，结合WEB数据挖掘系统来充分运用云计算的信息存储能力和数据计算能力，从而提升互联网信息资源的利用率。

参考文献

［1］孙雪凌．数据科学在高校学风治理工作中的应用探索［J］．无线互联科技，2016（17）:

129－132．

［2］沈军霞，葛坤．新时期EＲP系统应用与实践探讨［J］．无线互联科技，2016（17）:

23－26．

［3］王光炜，薛玉倩．基于云计算的数据挖掘平台［J］．内蒙古科技与经济，2016（19）:

65－69．

［4］张珏，陈莉，田建学．面向零售业的关联规则挖掘的研究与实现［J］．计算机技术与发展，2016（10）:

146－150．

［5］邵传飞．基于数据挖掘的兵棋推演数据分析方法研究［J］．通讯世界，2016（21）:

245－247．

［6］刘占敏，刘津伊，贾蓓．FP－Growth算法在学生成绩分析中的应用［J］．信息与电脑（理论版），2016（13）:

85－87．

［7］高瑜，仝卫国．基于关联规则的一次风机故障预警方法研究［J］．电力科学与工程，2016（10）:

46－49．

［8］王丽格．大数据时代下的数据挖掘和分析探究［J］．科技展望，2016（30）:

201－203．

［9］熊伯安．基于大数据时代的数据挖掘及分析［J］．电子世界，2016（20）:

51－53．

［10］谢邦昌，斯介生．大数据分析中轨迹数据挖掘的现状与挑战［J］．中国统计，2016（08）:

459－461．

［11］曾召文．Web日志挖掘在中小学校园网站建设中的应用研究［D］．湖南师范大学2015:

246－248．

［12］王赋聪．Web日志挖掘系统的研究与实现［D］．北京邮电大学，2015:

59－63.