武汉理工云计算重点Word文档格式.docx
- 文档编号:22442599
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:21
- 大小:322.89KB
武汉理工云计算重点Word文档格式.docx
《武汉理工云计算重点Word文档格式.docx》由会员分享,可在线阅读,更多相关《武汉理工云计算重点Word文档格式.docx(21页珍藏版)》请在冰豆网上搜索。
在动态、多机构参与的虚拟组织中协同共享资源和求解问题
云计算与网格计算比较:
(考简答可能性低)
二、谷歌云平台
(一)GFS
1.设计目标
(1)高性能(performance);
(2)可扩展(scalability);
的拓扑、机架的分布、磁盘的利用率等
3)对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入
尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。
(二)ChubbyLock
1.Chubby系统提供粗粒度的分布式锁服务,它基于松耦合分布式系统的可靠设计。
2.Chubby的使用者不需要使用复杂的同步协议,二是直接调用Chubby的锁服务,即可保证数据操作的一致性。
同时这种锁服务是建议性的,而非强制性的,这样能带来更大的灵活性。
3.Chubby具有广泛的应用场景,例如:
(1)GFS选主服务器;
(2)BigTable中的表锁;
4.Chubby系统分为两个重要组件:
(1)Chubby库:
客户端通过调用Chubby代码库,申请锁服务,并获取相关信息,同时通过租约保持与服务器的连接;
(2)Chubby服务器组:
一个服务器组一般由五台服务器组成,其中一台master,服务维护与客户端的所有通信;
其他服务器不断和主服务器通信,获取用户操作。
Chubby服务器组的所有机器都会执行用户操作,并将数据存放到文件系统。
5.Chubby文件系统类似于简单的unix文件系统,但它不支持文件移动操作与硬连接。
文件系统由许多Node组成,每个Node代表一个文件,或者一个目录。
文件系统使用BerkeleyDB来保存每个Node的数据。
(三)Bigtable
BigTable是一个分布式的结过婚数据存储系统,它存储着PB级别的数据。
BigTable的设计目标是:
(1)适用性广;
(2)扩展方便;
(3)简单性;
(4)高可用;
在Bigtable中Chubby主要有以下几个作用:
(1)选取并保证同一时间内只有一个主服务器(MasterServer)。
(2)选取子表的位置信息
(3)保存Bigtable的模式信息及访问控制列表。
三、AWS
Amazon云计算核心技术
1.弹性计算云EC2
2.简单存储服务S3
3.简单数据库服务SimpleDB
4.简单队列服务SQS
5.弹性MapReduce服务
6.内容推送服务CloudFront
7.电子商务服务DevPay
8.灵活支付服务FPS
(一)Dynamo
核心思想:
Dynamo是一个去中心化的系统,它只需要很少很少的人工管理。
存储节点的添加、删除,不需要任何手工划分或重新分配并提供最终一致性(eventually-consistent)保证。
Dynamo需要解决的主要问题及先关技术:
数据均衡分布:
Dynamo采用改进的一致性哈希算法,每个节点只需处理落在它和它的前驱节点之间的数据,这样增/删节点时系统震荡少。
Dynamo中冗余存储(备份)数据保存在环上顺时针方向的后继节点中。
写操作的时候采用了优化的方式,保证一个副本必须写入硬盘,其他副本只要写入节点内存即返回成功。
这样既保证了副本的数量又减少了延时。
数据冲突问题:
Dynamo牺牲一致性来换取系统的可靠性和可用性,因此Dynamo采用了一致性模型来解决数据冲突(不在意数据更新过程中的一致性问题,只要最终所有数据副本能保证一致即可)
容错机制:
临时故障处理:
HintedHandoff
Dynamo为了提高系统可用性,使用乐观方式仲裁读写。
读写都不会因为节点失效或网络故障而失败,只有所有节点都失效时读写才会被拒绝。
永久性故障处理:
副本同步
Dynamo实现了反熵(anti-entropy)或叫副本同步的协议。
Dynamo采用MerkleTree,一种哈希树来存储key的信息,树的比对能轻易的了解副本是否同步;
每个节点维护一个单独的MerkleTree,树的比对也能轻易的找出不同步的key;
方案的缺点是,当有节点加入或离开系统时,许多key会发生变化,需要对树进行重新计算。
(二)S3
对象:
数据和元数据(描述数据的数据:
last-modified,E-tag,Content-Type,Content-Length)
键:
对象的唯一标识符
桶:
存储对象容器(最多创建100个桶,不限桶中文件数量)
S3系统采用冗余存储
优势:
某些服务器出现故障时用户仍然可以对其数据进行操作
弊端:
用户在操作时可能会出现如下几种情况(读脏数据)
1.一个进程写入一个新的对象并立即尝试读取它,但在该改变被传送到S3的多个服务器前,服务器对该操作可能返回“键不存在”
2.一个进程写入一个新的对象并立即尝试列出桶中已有的对象,但在该改变被传送到S3的多个服务器前,该对象很可能不会出现在列表中
3.一个进程用新数据替换现有的对象并立即尝试读取它,但在该改变被传送到S3的多个服务器前,S3可能会返回以前的数据
4.一个进程删除现有的对象并立即尝试读取它,但在该改变被传送到S3的多个服务器前,S3可能会返回被删除的数据
5.一个进程删除现有的对象并立即尝试列出桶中的所有对象,但在该改变被传送到S3的多个服务器前,S3可能会列出被删除的对象
出现这些现象是因为S3为了保证用户数据的一致性而采取的一种折中手段,即在数据被充分传播到所有的存放节点之前返回给用户的仍是原数据
安全措施:
1)身份认证:
基于HMAC-SHA1的数字签名方式来确定用户身份
2)访问控制列表ACL:
S3提供的可供用户自行定义的访问控制策略列表
(三)CloudFront
CloudFront——一个基于Amazon云计算平台实现的内容分发网络(ContentDeliveryNetwork,CDN)
CDN通过将网站内容发布到靠近用户的边缘节点,使不同地域的用户在访问相同网页时可以就近获取。
这样既可以减轻源服务器的负担,也可以减少整个网络中流量分布不均的情况,进而改善整个网络性能
四、WindowsAzure
1.WindowsAzure属于PaaS模式
2.WindowsAzure平台组成部分:
1)WindowsAzure:
最底层,提供了一个在微软数据中心服务器上运行应用程序和存储数据的Windows环境
2)SQLAzure:
云中关系数据库,为云中基于SQLServer的关系型数据提供服务
3)WindowsAzureAppFabric:
为在云中或本地系统中的应用提供基于云的基础架构服务。
部署和管理云基础架构的工作均由AppFabric完成,开发者只需要关心应用逻辑。
4)WindowsAzureMarketplace:
为购买云计算环境下的数据和应用提供在线服务
3.WindowsAzure操作系统组成部分:
计算服务、存储服务、Fabric控制器、内容分发网络CDN、WindowsAzureConnect
4.SQLAzure关键技术:
1)SQLAzure数据库:
SQLAzure支持TDS和Transact-SQL,核心的数据库功能
2)SQLAzure数据报表服务:
3)SQLAzure数据同步:
提高存储数据的访问性能,同时确保网络发生故障时应用仍然能够访问数据库
五、VMWare
1.VMware云战略三层架构
云基础架构及管理层(IaaS)
云基础架构及管理层由数据中心与云基础架构、安全产品、基础架构和运营管理三大部分组成。
数据中心和基础架构是VMware云计算解决方案的基石
云应用平台层(PaaS)
VMware的云应用平台以SpringSource应用和VMwarevSphere为基础,采用高级消息队列协议AMQP,具有无缝扩展的弹性数据管理技术和跨物理/虚拟环境可见性的性能监控和应用管理机制,并能实现私有云和公有云之间的迁移
桌面虚拟化产品(SaaS)
主要是基于桌面和应用程序虚拟化,提供了VMwareThinApp、VMwareWorkstation、VMwareFusion、Zimbra、VMwarePlayer、WMware移动虚拟平台(MVP)及VMwareACE等产品
2.虚拟化分类
虚拟化从结构上可以分为寄居架构和裸金属架构
寄居架构:
在操作系统的层面之上进行虚拟机实现,如VMwareWorkstation
裸金属架构:
在计算机硬件上直接进行虚拟化,是架设在计算机硬件和操作系统之间的虚拟化,如ESXServer
3.三种虚拟化软件(参考)
CitrixXenServer,微软WindowsServer2008Hyper-V,VMwareESXServer
VMwareESX重点于服务器虚拟化,技术较成熟,功能也多,支持虚机系统多;
Xenserver重点在于桌面虚拟化,性价比高,网络性能好,适用于快速与大规模部署,支持系统也不少,但做桌面能发布出来的只有MS系统;
Hyper-V起步的最晚,目前貌似只支持MS自家的系统,属于服务器级的,Server08版自带功能,起步晚,但背靠大树好乘凉;
六、Hadoop
1.定义
Apache开源组织的一个分布式计算框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供了一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统.
2.组件
3.
起源(如图)
4.HDFS保障可靠性的措施(简答)P192
1)冗余备份
每个文件存储成一系列数据块(Block),默认块大小为64MB(可配置)。
为了容错,文件的所有数据块都会有副本(副本数量即复制因子,可配置)
2)副本存放
采用机架感知(Rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率
3)心跳检测
NameNode周期性地从集群中的每个DataNode接受心跳包和块报告,收到心跳包说明该DataNode工作正常
4)安全模式
系统启动时,NameNode会进入一个安全模式。
此时不会出现数据块的写操作
5)数据完整性检测
HDFS客户端软件实现了对HDFS文件内容的校验和(Checksum)检查
6)空间回收
文件被用户或应用程序删除时,先把它移动到/trash目录里;
只要还在这个目录里,文件就可以被迅速恢复
7)元数据磁盘失效
NameNode可以配置为支持维护映像文件和事务日志的多个副本,任何对映像文件或事务日志的修改,都将同步到它们的副本上
8)快照
快照支持存储某个时间的数据复制,当HDFS数据损坏时,可以回滚到过去一个已知正确的时间点。
HDFS目前还不支持快照功能
5.Hadoop工作模式
1)单机模式:
默认情况下,Hadoop被配置成一个非分布式模式运行的独立Java进程,适合开始时做调试工作。
2)伪分布式模式:
可以在单节点上以伪分布式模式运行,用不同的Java进程模拟分布式运行中各类节点(NameNode、DataNode、JobTracker、TaskTracker、SecondaryNameNode)
3)完全分布式模式:
在HDFS看来,节点分为NameNode和DataNode,其中NameNode只有一个,DataNode可以有多个;
在MapReduce看来,节点又分为JobTracer和TaskTracker,其中JobTracer只有一个,TaskTracker可以有多个.NameNode和JobTracker可以部署在不同的机器上,也可以部署在同一台机器上,部署NameNode和JobTracker的机器是主服务器(master),其余都是从服务器(slaves)。
6.HDFS是一个主从结构的体系,HDFS集群有一个NameNode和很多个DataNode组成。
NameNode管理文件系统的元数据,DataNode存储实际的数据。
P191
7.两类调度服务P196
MapReduce框架是由JobTracker和TaskTracker这两类服务调度的。
JobTracker是主控服务,只有一个,负责调度和管理TaskTracker,把Map任务和Reduce任务分配给空闲的TaskTrcker,让这些任务并行运行,并负责监控任务的运行情况。
TskTracker可以有多个,负责执行任务。
8.MapReduce程序设计
1.
1)<
key,value>
对
2)数据输入
3)Mapper阶段
4)Reducer阶段
5)数据输出
packageorg.apache.hadoop.examples;
importjava.io.IOException;
importjava.util.*;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.mapreduce.Job;
importorg.apache.hadoop.mapreduce.Mapper;
importorg.apache.hadoop.mapreduce.Reducer;
importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
importorg.apache.hadoop.util.GenericOptionsParser;
publicclassWordCount{
publicstaticclassTokenizerMapperextendsMapper<
Object,Text,Text,IntWritable>
{
privatefinalstaticIntWritableone=newIntWritable
(1);
privateTextword=newText();
publicvoidmap(Objectkey,Textvalue,Contextcontext
)throwsIOException,InterruptedException{
StringTokenizeritr=newStringTokenizer(value.toString());
while(itr.hasMoreTokens()){
word.set(itr.nextToken());
context.write(word,one);
}
publicstaticclassIntSumCombinerextendsReducer<
Text,IntWritable,Text,IntWritable>
{
privateIntWritableresult=newIntWritable();
publicvoidreduce(Textkey,Iterable<
IntWritable>
values,Contextcontext)throwsIOException,InterruptedException{
intsum=0;
for(IntWritableval:
values){
sum+=val.get();
result.set(sum);
context.write(key,result);
publicstaticclassIntSumReducerextendsReducer<
Collectionmost=newhashSet();
intlen;
publicvoidsetup(Contexttext)throwsIOException,InterruptedException{
len=context.getConfigutation().getInt("
N"
3);
//读取TOPN
intsum=0;
for(IntWritableval:
sum+=val.get();
}
result.set(sum);
if(most.size<
len)most.add(key,result);
for(Iteratori:
most.iterator()){//前N保存到HashSet
IntWritabletemp=(IntWritable)i;
if(i.get()<
result.get()){
most.remove(i.getKey());
most.add(key,result);
}
publicvoidcleanup(){//收尾工作排序并输出TOPN
Text[]keys=newText[3];
IntWritable[]values=newIntWritable[3];
inti=0;
intj=len;
for(Iteratork:
most.iterator()){
keys[i]=(Text)k.getKey();
values[i]=(IntWritable)k;
i++;
while(j-->
0){//冒泡排序
for(i=0;
i<
len-1;
i++){
if(values[i]<
values[i+1]){
IntWritabletemp=values[i];
Texttempt=keys[i];
values[i]=values[i+1];
keys[i]=keys[i+1];
values[i+1]=temp;
keys[i+1]=tempt;
}
for(i=0;
len;
context.write(keys[i],values[i]);
}
publicstaticvoidmain(String[]args)throwsException{
Configurationconf=newConfiguration();
conf.setInt("
5);
//TOPN定义
String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();
if(otherArgs.length!
=2){
System.err.println("
Usage:
WordCount<
in>
<
out>
"
);
System.exit
(2);
Jobjob=newJob(conf,"
wordcount"
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumCombiner.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job,newPath(otherArgs[0]));
FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));
System.exit(job.waitForCompletion(true)?
0:
1);
}
2.矩阵相乘(整数矩阵)
左矩阵的一行和右矩阵的一列组成一个InputSplit,其存储b个<
对,key存储积矩阵元素位置,value为生成一个积矩阵元素的b个数据对中的一个;
Map方法计算一个<
对的value中数据对的积;
而Reduce方法计算key值相同的所有积的和
publicclassMatrixVectorCompute{
publicstaticclassTokenizerMapperextends
Mapper<
privateTextlineNumber=newText();
//矩阵行序号
privatestaticinti=0;
privatefinalstaticint[]vector={2,3,4};
//向量值
publicvoidmap(Objectkey,Textvalue,Contextcontext)hrowsIOException,Interru
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 武汉理工 计算 重点