基于数据仓库的国有土地供应决策支持系统0519.docx
- 文档编号:26460464
- 上传时间:2023-06-19
- 格式:DOCX
- 页数:88
- 大小:975.27KB
基于数据仓库的国有土地供应决策支持系统0519.docx
《基于数据仓库的国有土地供应决策支持系统0519.docx》由会员分享,可在线阅读,更多相关《基于数据仓库的国有土地供应决策支持系统0519.docx(88页珍藏版)》请在冰豆网上搜索。
基于数据仓库的国有土地供应决策支持系统0519
学校代号10532学号G0*******
分类号TP311密级
工程硕士学位论文
基于数据仓库的国有土地供应决策支持系统的设计与实现
学位申请人姓名易维
培养单位软件学院
导师姓名及职称戴牡红副教授、王泽昌高工
学科专业软件工程
研究方向企业信息化
论文提交日期2010年4月
学校代号:
10532
学号:
G0*******
密级:
湖南大学硕士学位论文
基于数据仓库的国有土地供应决策支持系统的设计与实现
学位申请人姓名:
易维
导师姓名及职称:
戴牡红副教授、王泽昌高工
培养单位:
软件学院
专业名称:
软件工程
论文提交日期:
2010-4-23
论文答辩日期:
2010-5-21
答辩委员会主席:
秦拯教授
DesignandImplementationofstate-ownedlandsupplydecisionsupportsystembasedondatawarehouse
By
YiWei
B.E.(XiangtanUniversity)2003
Athesissubmittedinpartialsatisfactionofthe
Requirementsforthedegreeof
MasterofEngineering
in
SoftwareEngineering
inthe
GraduateSchool
of
HunanUniversity
Supervisor
AssociateProfessorDaiMu-Hong,SeniorEngineerWangZe-Chang
May,2010
湖南大学
学位论文原创性声明
本人郑重声明:
所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。
本人完全意识到本声明的法律后果由本人承担。
作者签名:
日期:
年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
本学位论文属于
1、保密□,在______年解密后适用本授权书。
√
2、不保密□。
(请在以上相应方框内打“√”)
作者签名:
日期:
年月日
导师签名:
日期:
年月日
摘要
随着金土工程二期建设的不断深入,国土资源电子政务系统也日趋完善,产生大量国有土地供应的业务数据。
这些数据大部分只是简单地存储在数据库中,隐藏在这些数据中的潜在信息被闲置,没有被充分利用。
如果能合理地利用这些数据并从中挖掘出那些有用的却常被人们忽视的重要信息,又或者能从中找出一些随各种因素动态变化而形成的规律,这无疑会给国土部门的土地供应决策带来很大帮助。
本文提出了将数据仓库技术应用于国有土地供应数据分析中的设想,建立起基于数据仓库的国有土地供应决策支持系统。
数据仓库作为一种体系结构基础,把存在于政府部门中的大量零乱的数据集成起来,为决策提供可靠的、高质量的数据源。
本文针对某国土局实际情况,以现行国土电子政务系统为基础,提出一套基于数据仓库的国有土地供应决策支持系统的解决方案:
通过建立数据仓库,解决决策数据不一致、质量不高等问题;利用联机分析处理(OLAP)技术,对国有土地供应数据进行多角度、多层次地分析、比较,发现隐藏在这些数据中的规律;利用数据挖掘技术,分析国有土地供应结构组成、供应方式差异等对地价的影响,预测未来地价的发展趋势。
首先,在详尽分析需求的基础上,本文采用MicrosoftSQL2005作为创建数据仓库的工具,利用SSIS构造ETL流程的处理逻辑,构造自动化的校验程序,实现对原有信息系统数据(包括电子政务系统数据和EXCEL报表数据)的抽取、转换和装载。
其次,在数据仓库内建立相应事实表和维度表后,利用SSAS建立多维数据集,通过创建基础计算成员和命名集,实现多维数据集的多角度浏览;使用Microsoft聚类分析算法来分析每个行政区地价情况及其影响地价的多个因素之间的关系,使用时序预测算法分析地价的未来趋势。
再次,使用SSRS实现最终报表的订制和部署,实现行列数据钻取和MDX编程数据查询。
目前,整个系统已经在长沙市国土资源局运行,实践证明其运转稳定、功能完整、性能可靠,实现当初预先设计的目的,得到用户的认可。
关键词:
数据仓库;OLAP;数据挖掘;国有土地供应
ABSTRACT
WiththedeepeningofthesecondstageGoldenEarthProjectandcontinuousperfectionoftheLandResourcesManagementElectronicGovernmentSystem,itproducedalargenumberbusinessdataofstate-ownedlandsupply.Mostofthedataissimplystoredinthedatabase,andthepotentialinformationwhicharehiddeninthesedataisidleandnotbeingfullyutilized.Ifthedatacanbereasonablyutilizedandthoseimportantusefulnessinformationwhichareoftenoverlookedbypeoplemaybedigout,orelsesomelawwhichisformedwiththedynamicchangesofvariousfactorswouldbediscovered,nodoubtitwillaffordthegreathelpforthelandsupplypolicydecisionofLandandResourcesDepartment.Sotheideathatitappliesthedatawarehousetechnologyintothesupplydataanalysisofstate-ownedlandandbuildsthestatelandsupplydecisionsupportsystemisputforwardinthispaper.
Datawarehouseasarchitecturefoundation,itcanintegratethechaoticdatawhichexistinthedatabaseofgovernmentdepartmentsandprovidethehigh-quality,reliabledatasourcefordecision-making.Inthispaper,aimattheactualsituationofoneLandandResourcesBureauandbaseontheexistingLandResourcesManagementElectronicGovernmentSystem,asetofsolutionsareputforwardforthesupplydecisionsupportsystemofstate-ownedlandbaseondatawarehousetechnology.Throughtheestablishmentofdatawarehousetoresolvetheproblemthatdecision-makingdataisinconsistenciesandnothighquality;Usingonlineanalyticalprocessing(OLAP)technologytoanalyzeandcomparethestate-ownedlandsupplydatawithmulti-angle,multi-level,anddiscoverthesedatahiddeninthelaw;Applyingdataminingtechnologytoanalyzetheinfluencessuchasthestructurecompositionofstate-ownedlandsupply,thesupplydifferencesoflandpriceandsoon,andpredictthefuturelandpricetrendsfinally.Firstly,basedondetailedanalysisofdemand,itappliesMicrosoftSQL2005asatooltocreatedatawarehouses,andusingthelogicETLstructureofSSISprocessingtoconstructautomatedcalibrationprocedures,toachievetheextraction,transformationandloadingoftheoriginalinformationsystemdata(includingE-governmentsystemdataandEXCELreportingdata).Secondly,afterestablishingthecorrespondingfacttablesanddimensiontablesindatawarehouse,ituseSSAStosetupthemulti-dimensionsdata;Throughcreatingthefoundationalcalculatedmembersandnamingsetstoachievemulti-angleview;UsingtheMicrosoftClusteringalgorithmtoanalyzetherelationshipbetweenthelandpriceconditionineachregionandtheaffectfactorsoflandprice,andapplyingthetimeseriespredictionalgorithmtopredictthefuturetrendoflandprices.Thirdly,thefinalreportwillbecustomizedanddeployedusingSSRS,andtheranksofdatacanberolledup,theMDXprogrammingqueriescanbeinquired.
Currently,theentiresystemhasbeenworkinginLandResourcesBureauofChangsha.Itwasprovedthatthissystemoperatesstabilityandhasfullyfunctionandreliableperformance.Itachievestheoriginalpurposeofpre-designedandisacceptedbytheusers.
Keywords:
datawarehouse;OLAP;datamining;state-ownedlandsupply
目录
学位论文原创性声明I
摘要II
ABSTRACTIII
目录V
插图索引VIII
附表索引X
第1章绪论1
1.1引言1
1.2研究的背景2
1.3课题来源4
1.4研究的主要内容和本文结构4
1.5本文的创新之处5
1.6本章小结5
第2章数据仓库和数据挖掘概述6
2.1数据仓库6
2.1.1数据仓库的含义及其特点6
2.1.2数据仓库的体系结构7
2.1.3建模方式分析9
2.2联机分析(OLAP)9
2.2.1联机分析处理的定义10
2.2.2多维数据模型相关概念10
2.2.3多维数据模型上的OLAP操作11
2.3数据挖掘11
2.3.1数据挖掘定义11
2.3.2数据挖掘组成13
2.3.3数据挖掘对象14
2.3.4数据挖掘的种类15
2.4数据挖掘和OLAP的区别15
2.5本章小结16
第3章需求分析17
3.1需求分析17
3.1.1数据源需求分析17
3.1.2物理数据源分析17
3.1.3数据仓库的需求分析19
3.2本章小结22
第4章数据仓库的设计23
4.1系统设计整体思路23
4.2系统总体设计23
4.2.1系统总体框架设计23
4.2.2数据仓库方案总体设计24
4.3维度建模理论分析26
4.3.1多维模型分析26
4.3.2事实数据和维度数据比较分析26
4.4事实表和维度表的设计27
4.5本章小结28
第5章数据仓库的实现29
5.1微软数据仓库的优势29
5.2SqlServer2005的优势29
5.2.1统一的开发环境29
5.2.2.NET框架集成30
5.3构造数据仓库31
5.3.1事实表和维度表的创建31
5.3.2ETL流程35
5.3.3OLAP的建立37
5.3.4维度实现43
5.3.5计算透视浏览44
5.4构建挖掘模型47
5.4.1聚类分析模型47
5.4.2Microsoft聚类模型49
5.4.3时序模型51
5.4.4Microsoft时序模型52
5.5前端数据展现54
5.5.1联机分析概述54
5.5.2报表订制与预览54
5.5.3扩展mdx功能59
5.5.4报表部署60
5.6本章小结60
第6章系统的实际应用情况62
结论63
参考文献65
致谢68
附录攻读学位期间发表的学术论文69
插图索引
图2.1数据仓库的发展历程图7
图2.2数据仓库三层体系结构图8
图2.3数据挖掘过程结构图13
图2.4数据挖掘流程图14
图3.1系统总体框架示意图24
图4.1国有土地出让架构示意图27
图4.2国有划拨出让架构示意图28
图5.1土地出让主题设计图34
图5.2土地划拨主题设计图35
图5.3国土资源数据仓库新建过程图35
图5.4SSIS包创建过程图36
图5.5sql数据库连接管理器示意图36
图5.6SSAS项目新建示意图38
图5.7数据源向导示意图39
图5.8连接管理器示意图39
图5.9数据源连接字符串示意图40
图5.10视图和表选择示意图40
图5.11选择生成方法示意图41
图5.12事实表和维度表标记示意图42
图5.13时间维度表对应关系示意图42
图5.14度量值选择示意图42
图5.15DateName层次结构示意图43
图5.16DateName层次结构具体内容示意图43
图5.17LandRemiseType层次结构示意图44
图5.18LandRemiseType层次结构示意图44
图5.19计算成员创建示意图45
图5.20分类关系图50
图5.21分类剖面图51
图5.22年度土地价格预测图54
图5.23数据源选择示意图55
图5.24数据集新建示意图56
图5.25目标数据选择示意图56
图5.26筛选维度选择示意图57
图5.27布局设置示意图57
图5.28父子关系定义示意图58
图5.29关联报表确定可见性示意图58
图5.30报表预览示意图59
图5.31数据结果预览示意图60
图5.32部署菜单示意图60
附表索引
表3.1案卷受理表18
表3.2行政区划代码表18
表3.3土地用途代码表18
表3.4出让土地签报审批表19
表3.5划拨土地签报审批表19
表4.1事实数据与维度数据的特性对照表27
第1章绪论
1.1引言
过去的几十年中,人们运用各类的信息系统来对日常工作生活进行管理,得到了很好的效果。
通过日复一日年复一年的处理,海量的数据资源被源源不断的存储起来。
随着需求和技术的不断发展,人们不再满足于简单的事务型信息处理,开始尝试对这些来源众多、格式各异、分布系统平台不同、通讯要求特别的数据进行加工,抽取有用的信息,集成转换形成一个综合并面向分析的环境,为生活和社会发展的各方面提供正确的决策。
于是数据仓库技术应运而生[1]。
数据仓库,“是一种能访问各种数据库,把各种源数据库集成一个统一的目标数据库(即DWH),并能把各种数据转换成面向主题(SubjectOriented)的格式,能从异构的数据源中定期抽取,转换和集成所需要的数据,便于最终用户访问并能从历史角度进行分析,最后做出战略决策的信息管理技术"。
即利用计算机和信息技术(IT)的最新发展,把那些大量的,分散的企业数据进行处理,通过分析从中获取一些有用的材料、信息、经验来总结和预测,并最终把所需要的信息分离出来,支持分析和决策[2]。
数据仓库并非一个仅仅存储数据的简单信息库。
建立数据仓库的目的也不是要取代数据库,而是要建立一个更全面和完善的信息应用的基础。
数据仓库中存放的应该是供分析使用的数据,以便为决策提供进行复杂分析所需要的尽可能全面的数据,这些数据并不是最新的和专有的,而是来源于其它数据库。
因此数据仓库更多是一种管理技术,其数据不是对原始数据的简单归并或搬家,而是对原始数据统一和增值,在此基础上数据仓库还应具有在一定激发条件下能主动起作用的处理规则、算法、甚至是过程。
数据仓库能较好地满足决策支持系统的需求,于是很快的出现了以数据仓库技术为核心,以联机分析处理技术(即OLAP)和数据挖掘工具为手段建设决策支持系统(DSS:
DecisionSupportSystem)的可行方案。
决策支持系统,是决策者制定各类决策的人机系统,由决策者的实际需求和计算机管理信息系统的发展而形成,具有应用层次高、覆盖面宽、集成性强、人机结合密切等特点;是以支持非结构化型和半结构化型的决策为目的,便于用户调用分析决策模型以及对数据库进行存取的会话系统[3]。
决策支持系统在管理信息系统的基础上发展起来的,以管理科学、运筹学、控制论和行为科学为基础,以计算机技术、仿真技术和信息技术为手段,针对半结构化的决策问题,应用决策科学及有关学科的理论和方法,通过提供背景材料、协助明确问题、修改完善模型、列举可能方案、进行分析比较等方式,为管理者做出正确决策。
其能够为决策者提供决策所需的数据、信息和背景材料,帮助明确决策目标和进行问题的识别,建立或修改决策模型,提供各种备选方案,并且对各种方案进行评价和优选,通过人机交互功能进行分析、比较和判断,为正确决策提供必要的支持。
在过去的十几年中,数据仓库和决策支持系统的理论经过广大研究人员的悉心探索研究,日趋完善。
如今,将其由具有很强抽象性的概念模型向现实系统实施成为了新的一轮研究热点。
如何成功的实施数据仓库的决策支持系统,如何进一步向各行业辐射展开,这已成为其发展的最新的方向[4]。
1.2研究的背景
2002年5月,国土资源信息化领导小组通过了《关于国士资源部政务信息化(电子政务)建设的实施意见》,国土资源部电子政务建设正式启动。
随后部组织各业务相关人员历时9个月完成了《国土资源部政务管理信息系统总体设计》。
2004年1月13日,国务院副总理曾培炎在国土资源部视察工作时指出,国上资源信息化大有可为,希望进一步深入运用,提高国土资源保护和开发利用水平,通过地上查、天上看、网上管,不放过对每一块土地的监管,并明确提出要实施“金土工程”。
2004年4月23日,国土资源部在贵阳召开全国国土资源电子政务建设工作会议,部署和推进全国国土资源电子政务建设工作,明确电子政务建设的目标,统一工作思路。
2004年6月,国土资源电子政务建设培训班在贵阳开课,分两期集中培训了600余名各地国土资源信息化建设部门的管理人员和技术人员,有力地推动了国土资源电子政务建设的进程。
2004年7月,国土资源部下发了《关于国土资源电子政务建设指导意见》。
“金土工程”是2005年1月国务院副总理曾培炎在国土资源部视察工作时提出的。
“金土工程”将在国土资源电子政务建设的总体框架下,围绕当前国土资源管理的中心工作,选择耕地保护、矿产资源、地质灾害防治等重要业务,在流程梳理、整合的基础上,建设业务应用系统和相应的信息服务系统,形成边界清晰的政务信息化体系[5]。
同时,在现有数据资源的基础上,按照统一标准进行数据整合处理,将标准不一、格式多样、分散管理的现有国土资源数据统一集中管理,形成标准统一、上下一致的国上资源数据保障体系。
“金土工程”的总体目标,是完成“三大系统”建设(即耕地保护国家监管、矿产资源国家安全保障和地质灾害预警预报与应急指挥系统),建立覆盖国家、省、市、县级国土资源电子政务信息化体系。
国土资源部党组非常重视“金土工程”的立项建设。
孙文盛部长亲自过问,推动工程立项,部党组特别明确鹿心社副部长负责这项工作。
2004年2月,鹿心社副部长提出,要加快“金土工程”的立项和建设工作,组织编写“金土工程”项目立项建议书,开展可行性研究,制定项目实施总体方案和详细设计,并具体组织好项目的实施[6~7]。
目前国土资源部信息化办公室已组织相关人员编写完成项目建设书,并正式报送国家发展和改革委员会。
根据利用信息技术的目的和信息技术的处理能力来划分,电子政务的发展大致经历了以下三个阶段:
面向数据处理的第一代电子政务、面向信息处理的第二代电子政务和面向知识处理的第三代电子政务[8]。
(1)面向数据处理的第一代电子政务第一代电子政务主要集中在1995年以前,以政府内部的办公自动化和管理信息系统的建设为主要特征,通过基于文件系统和数据库系统的综合运用,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据仓库 国有土地 供应 决策 支持系统 0519