分布式内存数据库存储研究-通信与信息系统专业论文Word文档下载推荐.docx
- 文档编号:13046232
- 上传时间:2022-10-03
- 格式:DOCX
- 页数:46
- 大小:488.78KB
分布式内存数据库存储研究-通信与信息系统专业论文Word文档下载推荐.docx
《分布式内存数据库存储研究-通信与信息系统专业论文Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《分布式内存数据库存储研究-通信与信息系统专业论文Word文档下载推荐.docx(46页珍藏版)》请在冰豆网上搜索。
系统分为两层结构,下层为分布式内存文件系统,为上层提供透明的内存文件操作服务,负责将文件分块存储于分布式系统中的各个节点并映射到响应节点的进程空间中以供操作,并保证系统中各个节点的负载均衡与数据一致性,同时提供动态的节点增减功能;
上层为分布式内存数据库管理系统,通过调用下层的文件服务来存储关系数据,并根据需求对这些关系数据分别建立全局索引与局部索引以供快速的查询。
两层系统采用松耦合的架构,各自负责独立的功能并进行优化。
通过测试结果可以看出,在单节点的情况下,系统的TPS(每秒执行事务量TransactionPerSecond)接近商用内存数据库;
在系统中每增加一个节点,可以为整个系统提供大约0.76倍的单节点并发量(线性增长);
在有节点加入或离开系统时,各节点的负载可以较快速的趋于平衡。
关键词:
分布式内存数据库;
分布式内存文件系统;
分布式存储;
负载均衡;
扩展性
II
Abstract
Inrecentyears,thedomesticandinternationalresearchesontheSmartGridvigorouslypromotetheprocessofGridinformation.WiththedeepeningoftheinformationtechnologyontheGridsystem,thepowergridsystemrequiresmorestoragecapacityandreal-timeabilityonthedatabasesystem,sothemainmemorydatabasewhichhasmorepowerfulperformancethanthetraditionaldiskdatabasehasbeenwidelyusedinthepowergridsystem.However,duetothelimitedmainmemorycapacity,mainmemorydatabasealwaysappearsastheroleofcachesysteminthepowergridsystemtoalleviatetheperformancebottleneckofthetraditionaldiskdatabase.
WiththeriseoftheSmartGrid,comparedtothetraditionalpowergridsystem,thedatainteractionismoreandmorefrequentandtheamountofdataislargerandlarger.ThisrequiresthedataplatformoftheSmartGridshouldhavegreaterdatacapacityandhigherdataconcurrency.Ontheonehandmeansthatthemainmemorydatabaseinthetraditionalgridsystemshouldbechargewithmorebusinessdataandbusinessapplications,italsosetsthenewrequirementsandchallengestothemainmemorydatabase.
WiththecharacteristicsofthegridandthetrendoftheSmartGriddevelopment,thepaperproposesthedatabasesystemwhichisadistributedmainmemorydatabaseestablishedonadistributedmainmemoryfilesystem.Tosolvetheshortageofthememorycapacityandconcurrencyincentralizedmainmemorydatabasesystem.Thesystemisdividedintotwolayers.Theloweristhedistributedmemoryfilesystem,providingthememoryfileservicestotheupperlayer,isresponsiblefortheloadbalanceandthedataconsistencyintheallnodesofthesystem.Theupperlayeristhedistributedmemorydatabasemanagementsystem.Bycallingtheservicesofthefilesystembelow,itstorestherelationaldataandtheindexofallthesedata.Thetwo-layersystemisalooselycoupledarchitecture,eachresponsibleforseparatefunctionsandoptimization.
Inthesinglenodecondition,theTPS(TransactionPerSecond)ofthedatabaseishigherthedisk1to2ordersofmagnitude;
andinthesystem,eachadditionalnodecanprovideabout0.76timesthesingle-nodeconcurrency(lineargrowth);
whenanodejoinsorleavesthesystem,allthenodescanbeloadbalancedinaconsiderableshorttime.
Keywords:
distributedmainmemorydatabase;
distributedmainmemoryfilesystem;
distributedstorage;
loadbalancing;
scalability
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。
尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。
对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
学位论文作者签名:
日期:
年 月 日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:
学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密口,在 年解密后适用本授权书。
本论文属于 不保密口。
(请在以上方框内打“√”)
指导教师签名:
年 月 日 日期:
1 绪论
1.1课题研究背景
内存数据库的研究起源于20世纪80年代,相对于传统的磁盘数据库,内存数据库可以提供更短的事务响应时间和更大的事务吞吐量。
适用于有一定实时性要求的业务应用[1]。
目前在电力行业中,内存数据库已经得到了广泛的应用[2]。
例如在有较高实时性要求的电网监控自动化系统中,内存数据库往往作为前端数据库的角色出现,处理和存储短时间段内的实时数据,从而有效的提高了系统对实时数据库的处理速度;
但由于内存数据库容量有限,大量的业务应用仍然由后台的磁盘数据库负责[3]。
随着近些年来智能电网的空前发展,传统电网的不足逐渐凸显,相对于传统的电网,智能电网有如下一些特点。
如表1-1所示。
表1-1智能电网与传统电网的对比
对比项目
智能电网
传统电网
通信
电网与用户采用双向通信,二者可
以进行实时的信息交互
单向通信,只有电网向用户单向传达
信息
监测
采用双向通信的智能固态表计
监测表计单向向电网发送数据
自愈
较强的自愈能力,有效抵御故障与
攻击,自适应分布式控制
较弱的自愈能力,仅仅依靠设备的冗
余
分布
供电网络为网状
供电网络为辐射状
从表中可以看出,智能电网中有更多的双向通信,这就意味着系统接收到的读写请求会更多,系统同一时间需要处理的事务量增大,系统的整体并发性需要提高。
同时由于智能电网要求有较强的自愈能力,因此需要更多的控制数据及实时数据的支持,并需要在短时间内完成对故障或攻击的捕捉,并根据实时状态重新分布电力,避免供电系统的中断。
传统的电网利用内存数据库虽然在一定程度上提高了系统的实时响应速度与并发量,但是对于智能电网海量的实时采集数据与实时监控数据[3],内存数据库仅仅作为前端缓存已经无法满足更多的实时应用需求,而应该承担系统中更多的业务服务。
而集中式的内存数据库面对智能电网海量的实时数据库与实时应用,存在以下一些问题与不足:
(1)容量。
集中式的内存数据库容量相对磁盘依然十分有限。
根据目前的市场
1
调查,仅有IBM与HP公司推出了可以支持1TB内存容量的服务器,并且价格昂贵,而市场上服务器可支持的平均最大内存容量约为256GB。
(2)并发。
通过对目前市场上内存数据库的调研与测试,集中式内存数据库的并发查询量约为每秒40000次。
而智能电网面向的是所有的用电客户以及智能终端,因此百万级的查询并发性能应该是基本的要求,而单机所提供的并发量是十分有限的。
(3)扩展性。
由于我国的智能电网还在发展阶段,因此不断会有新的用户与终端加入系统。
面对海量的不断增长的业务数据,集中式内存数据库只能通过静态增加物理内存的方式来扩充系统容量,但鉴于智能电网实时性的要求与单机内存容量的限制,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 内存 数据库 存储 研究 通信 信息系统 专业 论文