企业云盘技术白皮书.docx

企业云盘技术白皮书.docx

《企业云盘技术白皮书.docx》由会员分享，可在线阅读，更多相关《企业云盘技术白皮书.docx（29页珍藏版）》请在冰豆网上搜索。

企业云盘技术白皮书

技术白皮书

2015年9月

1产品介绍7

1.1产品简介7

1.2系统组件介绍9

1.2.1客户端9

1.2.2xServer10

1.2.3MySQL10

1.2.4UFA10

1.2.5WebDocServer10

1.3云盘功能简介11

1.4产品特性12

1.4.1二次开发环境12

1.4.2驱动盘客户端13

1.4.3数据分块存储机制14

1.4.4数据排重16

1.4.5多中心部署17

1.4.6异地备份18

1.5安全机制概述18

1.5.1登录18

1.5.2文件权限控制18

1.5.3访问审计18

1.5.4链路信道安全19

1.5.5数据持久化安全19

1.6API简介19

1.6.1用户19

1.6.2登录授权19

1.6.3部门20

1.6.4文件20

1.6.5文件群组20

1.6.6事件机制21

1.6.7业务逻辑和公共服务API21

2应用场景介绍21

2.1实现统一文档管理架构21

2.1.1利用群组文件夹共享实现文档协同共享应用21

2.1.2多层嵌套授权管理机制23

2.1.3满足海量文档多类文档管理24

2.2实现终端用户数据回收及数据集中25

2.2.1数据集中回收应用模式25

2.2.2虚拟磁盘应用及优势概述26

2.3利用隐身侠安全特性实现统一安全访问28

2.3.1集群提供负载均衡与高可用设计28

2.3.2服务端加密存储28

2.3.3数据传输加密30

2.3.4终端缓存加密30

2.3.5统一身份认证31

2.3.6提供文档的全生命周期安全审计功能31

2.3.7三员管理模式32

2.4利用云盘与桌面虚拟化结合32

2.4.1为用户桌面提供存储空间32

2.4.2为用户提供多种便捷应用33

2.4.3独立、弹性、去重、安全的数据存储方式33

2.4.4方便数据迁移33

2.4.5高效安全的数据管理34

2.5利用隐身侠云盘助力移动办公34

2.5.1提供文件在线预览34

2.5.2利用外链功能快速分享文件34

2.5.3与WPS移动版完美结合的移动编辑体验35

2.5.4快捷的数据创建上传功能35

3产品功能介绍36

3.1客户端软件概述36

3.2客户端硬件环境要求36

3.3PC客户端功能介绍37

3.3.1登录37

3.3.2退出39

3.3.3打开网盘40

3.3.4网盘操作41

3.3.5外链分享41

3.3.6锁定管理43

3.3.7历史版本44

3.3.8下载功能45

3.3.9还原功能46

对比功能48

空间管理49

上传工具51

其他功能53

3.4Web端功能介绍53

3.4.1登录53

3.4.2用户操作53

3.4.3个人文件、群组文件操作54

3.4.4上传54

3.4.5新建文件夹56

3.4.6新建文档57

3.4.7文件下载57

3.4.8移动59

3.4.9外链60

重命名62

删除62

锁定63

历史版本64

我的分享64

收到的分享66

我的锁定66

回收站66

修改密码67

用户空间使用情况68

客服端下载69

3.5移动端功能介绍69

3.5.1登录69

3.5.2网盘操作72

3.5.3个人文件73

3.5.4群组文件76

3.5.5传输列表77

3.5.6我的云盘78

1产品介绍

1.1产品简介

隐身侠云盘方案是以安全和便捷为核心的文件服务平台。

该平台通过集中存储文件、虚拟盘选择性同步、文件分块加密传输、多倍镜像等安全机制，保障用户文档安全；通过自动向服务器同步、消息通知、群组应用、历史版本管理等功能，实现多终端办公、移动办公、文件分享与历史版本找回，保障用户办公方便快捷。

隐身侠云盘作为新一代文件服务平台，将企业文件资源集中，并为其他应用平台提供开放的API接口，实现企业一体化的存储应用与服务。

隐身侠云盘的安全、便捷与平台特性主要体现在：

1.用户文件以多倍镜像存储在云端，终端设备丢失或损坏，随时可通过其他终端找回；

2.用户退出隐身侠云盘平台，其他用户登录该计算机，不能获取前登录用户的任何文件；

3.用户文件在云端是加密的、传输通道也是加密的，保障文件安全不被非法窃取；

4.文件操作的日志记录，提供审查机制，保障文件可被追溯；

5.用户使用多台设备办公，平台会自动同步实现文件版本一致；

6.授权用户在任何地方都可以轻松获取到文件，便捷实现移动办公；

7.可以更快、更方便地与其他用户进行文件共享；

8.文件编辑后会以历史版本方式保存在云端，用户可以随时找回之前版本；

9.企业的文件资源集中在云端，逐渐形成知识积累，为企业发展提供信息支持；

10.隐身侠云盘作为云端文件应用平台提供了丰富的API接口，可以为其他应用系统提供文件应用服务，成为其文件支撑平台。

隐身侠云盘重点解决企业文件安全性低、文件分散、管理混乱、分享传递繁琐等问题，同时帮助企业优化共享协作流程，提高管理效率，降低运营成本。

系统抽象结构图

1.2系统组件介绍

1.2.1客户端

目前本平台可以从Windows、Android、iOS、Web端进行访问。

PC、Android、iOS需要单独下载软件安装，Web端则可以直接访问，在支持HTML5的浏览器上，Web端会使用HTML5的特性提高用户体验。

1.2.2xServer

xServer是云盘的服务器端，所有客户端通过统一接口直接与xServer通信，平台的所有业务逻辑均在xServer上实现。

xServer实现了插件化机制，可以通过增加Java插件来改变已有逻辑流程、进行功能扩展、或与第三方系统集成。

xServer以及其它服务端组件都工作在安全封闭的IDC网络中。

1.2.3MySQL

目前平台使用MySQL作为云盘元数据（不是底层存储的元数据）的存储数据库，用户文件等信息保存在MySQL中。

1.2.4UFA

UFA为云盘与底层存储的中间层，所有云盘的文件数据都保存到UFA中，UFA负责处理数据的分块、加密过程，并可实现多数据中心环境下的就近上传、下载与异地存储，同时提供数据块的排重功能。

1.2.5WebDocServer

文档转码服务器。

在Web端查看Office文档时，需要将Doc、PPT、Excel、PDF等格式的文件转换成HTML的格式在浏览器上查看。

WebDocServer需要运行在Windows操作系统上（本项目中计划采用OWA方案）。

1.3云盘功能简介

隐身侠云盘是以安全和便捷为核心的文件服务平台。

该平台通过云端存储文件、虚拟盘、文件加密、多倍镜像等安全机制，保障用户文档绝对安全；通过同步、共享、历史版本管理等功能，实现多终端办公、移动办公、文件分享与历史版本找回，保障用户办公方便快捷。

隐身侠云盘作为新一代文件服务平台，将企业文件资源集中在云端，并为其他应用平台提供开放的API接口，实现企业一体化的云存储应用与服务。

隐身侠云盘的安全、便捷与平台特性主要体现在：

1）用户文件以多倍镜像存储在云端，终端设备丢失或损坏，随时可通过其他终端找回；

2）用户退出隐身侠云盘平台，其他用户登录该计算机，不能获取前登录用户的任何文件；

3）用户文件在云端是加密的、传输通道也是加密的，保障文件安全不被非法窃取；

4）文件操作的日志记录，提供审查机制，保障文件可被追溯；

5）用户使用多台设备办公，平台会自动同步实现文件版本一致；

6）授权用户在任何地方都可以轻松获取到文件，便捷实现移动办公；

7）可以更快、更方便地与其他用户进行文件共享；

8）文件编辑后会以历史版本方式保存在云端，用户可以随时找回之前版本；

9）企业的文件资源集中在云端，逐渐形成知识积累，为企业发展提供信息支持；

10）隐身侠云盘作为云端文件应用平台提供了丰富的API接口，可以为其他应用系统提供文件应用服务，成为其文件支撑平台。

隐身侠云盘重点解决企业文件安全性低、文件分散、管理混乱、分享传递繁琐等问题，同时帮助企业优化共享协作流程，提高管理效率，降低运营成本。

1.4产品特性

1.4.1二次开发环境

1.4.1.1插件平台

隐身侠云盘插件化的系统架构为扩展新功能以及满足用户定制提供了更好的方便性。

针对整个系统来说，新的功能和定制是相对独立的，不影响整个系统框架和其它的功能。

插件平台包括API自定义、企业网盘Env事件监控机制、数据库连接池等功能，可基于已开发的标准版插件对企业网盘的用户、部门、文件、外链、审计、群组、回收站等所有功能进行自定义API和二次开发。

您可以按照xServer的插件标准使用Java编写插件，然后布署进xServer的插件目录，当xServer启动时，将会进行插件检测，并将插件载入到xServer内部。

隐身侠云盘提供一系列文档和示例教程，辅助第三方进行二次开发工作。

1.4.1.2开放API

隐身侠云盘标准版API使用基于HTTP/HTTPS的Json格式协议进行与客户端进行交互，客户端可调用已有API进行功能扩展、系统整合等功能，目前隐身侠云盘所有的客户端包括WEB、PC、安卓、IOS均是调用标准版API来完成。

1.4.2驱动盘客户端

传统云盘客户端存在着服务端主动向客户端推送完整数据的行为，同步群组中新增大文件、版本变化等均会较大占用内网带宽，集团用户非常容易产生流量高峰影响其他业务。

这种情况甚至通过内网P2P加速、服务端、客户端限速等机制也难以避免。

驱动盘具有以下优势：

1.点击虚拟盘中本地文件图标可直接打开服务器上的文件。

2.文件缓存于虚拟驱动器中，整体加密存储，关闭缓存可实现0数据留存。

3.可调整的缓存机制，将部分文件缓存至本地，兼顾用户体验。

4.本地不会自动产生任何存储数据的明文拷贝。

5.不存在传统网盘因同步群组分发文件造成的网络占用高峰。

举例来说，内网中，有个同步模式的文件夹，有一千人具有访问权限，其中新增了1GB的视频文件，这时云盘服务端就会开始推送数据，无论带宽如何优化，最终的结果是这一千用户每个人的电脑里都会增加1GB的视频文件，即带宽中总的1TB的数据流量是固定的，这点无法改变。

在隐身侠特有的驱动盘中，文件更新在终端只刷新列表，只有用户使用时才产生流量，同时服务端支持集群部署、服务端限速、内置负责均衡等多种措施有效避免同步云盘产生的流量高峰问题。

即使群组中分享视频文件，即使用户都要去看，首先通过用户范围时间的差异就避免了短时间内的数据带宽压力；然后用户在看视频时，一般也不会一秒不差的去看，会快进，快进的部分在咱们的云盘里是不会传输的，在避免流量高峰的前提下减少了用户正常使用时所需消耗的流量。

1.4.3数据分块存储机制

隐身侠云盘客户端对文件进行分块，上传下载以数据块为单元，云端存储文件数据也按此分块存储。

文件分块会进行压缩加密，分块加密保证了文件上传下载过程及存储在云端时的安全性，分块压缩则大大增加了存储系统的可用容量。

分块机制使处理数据单元比整个文件方式来说相对固定，上传下载及云端处理的效率与稳定性都有大幅提升，且可以支持断点续传。

分块机制同时使得大文档修改后的上传速度加快。

如一个1M以上的文件，在末尾追加内容，那么仅最末尾的文件块需要重新上传，而不必全文重新上传，提高了同步效率。

对在文件中间某些内容进行修改而没有产生数据移位的，也仅上传被修改的文件块。

文件切片机制

1.4.4数据排重

企业数据在流转过程中同份文件会产生多个相同副本，由不同员工持有。

按某国内大型互联网公司的运营统计数据，纯文档性质数据重复度在15%-30%，全部数据重复度是此数据的2倍。

隐身侠云盘能自动地进行重复数据的合并，提高存储空间利用率，节省硬件设备资源，同时大幅提升用户体验，当用户往客户端同步盘放入文档时，如果他人已经放入过此文档，则此文档实际无需重新上传，用户可感受到极速的“零秒上传”，在文件较大时尤为明显。

云端存储文件数据时，将文件信息、属性与文件内容数据分离存储。

文件信息属性称为元数据。

文件内容数据以固定大小切割成块，称为块数据，块数据以其内容摘要值为标识，元数据通过引用块数据的标识进行关联。

多个数据内容相同的文件，在隐身侠云盘用户端显示的是不同的多个文件，有各自的拥有者、共享等属性，仅共用数据内容。

如果其中一个文件进行了修改，则被修改文件不再引用此数据内容，此文件与其他曾共用数据的文件间不再有任何关联。

被引用的文件数据有引用计数属性，记录其内容属于多少个文件，当同样内容的文件增加时，此引用计数增加。

当同样内容的文件被彻底删除时，此引用计数减少。

计数为0的文件数据表示无文件再使用此数据，将在一段时间后清除。

去重机制的运作过程如下：

当新增文档放入同步盘时，云存储客户端监测到事件，计算出新文件的摘要值，向云端请求新建文件。

云端对比摘要值是否已存在于云端，如果不存在，则返回信息允许客户端上传数据、新建此文件。

如果摘要值已存在，则云端新建该文件及对应的权限、属性信息，但文件数据直接引用已有数据内容，无需再上传。

1.4.5多中心部署

隐身侠云盘支持多中心部署的方式（可定制服务），在云盘服务器应用层实现各中心可见数据的一致性，总部的服务器会记录数据的真实存放位置。

多中心部署可实现用户数据的就近上传与就近下载，各中心还可划分缓存区域存储异地调用的数据，提升各地用户的访问体验。

可根据用户要求实现总部汇集所有分支机构数据或数据均衡分布模式，适用于不同的应用场景。

分支机构可定时将增量数据上传至总部中心（例如每日凌晨将当日新增的数据上传至总部存储集群），便于总部的集中管理。

多中心模式下各分支机构只需部署云盘应用服务器与配置适量所需存储。

总部根据需要部署云盘应用服务器、数据库服务器、元数据服务器、存储服务器等所需设备。

1.4.6异地备份

隐身侠云盘系统，由于推荐采用2倍或3倍冗余存储方案，数据几乎不会因为某个服务器宕机、或某个磁盘损坏而导致丢失。

如果用户需要将重要数据再次备份到另外的数据中心（也就是所谓的异地备份环境）隐身侠云盘系统也支持异地备份功能，即可以将私有云集群存储数据，通过后台备份专线，备份到另外的存储集群中。

这个备份过程是异步方式、增量形式进行的，可确保数据存储在不同的地域，从而提高整体的安全性。

1.5安全机制概述

1.5.1登录

用户通过帐号密码进行登录验证后，服务器端返回一个唯一的Token给客户端，在该Token的有效时间内，客户端均可使用该Token与服务间进行接口交互。

1.5.2文件权限控制

xServer目前有个人文件和群组文件。

个人文件只能用户自已才可以访问，群组文件视管理员配置的权限，可设定参加群组的用户，还可以对每个用户进行“读写”，“只读”等权限的控制。

1.5.3访问审计

xServer所有的API调用均会存入审计数据库，并提供审计查询界面供管理员对审计信息进行查询。

1.5.4链路信道安全

客户端可通过HTTPS协议与服务器端进行通信，并通过保持HTTPS长加接来减少连接握手次数，提高传输效率。

1.5.5数据持久化安全

xServer保存在Reifs中的数据经过AES256加密后进行文件分块打散，再分布存储在不同的服务器，不同的磁盘中。

即使服务器磁盘被盗取或复制，也不可能读取出有意义数据。

1.6API简介

1.6.1用户

xServer使用一个全局唯一的ID标识某个用户，这个ID叫。

每个用户具有用户名、Email等信息保存在xServeruid数据库中，可以通过（用户管理接口）接口设置用户信息。

1.6.2登录授权

用户通过客户端输入帐号密码登陆后，xServer会返回一个token给客户端，客户端与服务器端后续的交互，均需要传入有效token，进行权限鉴定，并识别出这个接口是哪个用户调用的。

与登录登出相关的接口可以此（登录/登出接口）查阅。

1.6.3部门

企业内部总会划分不同的部门，某个部门下面很可能还有子部门，通过部门来组织员工。

xServer的部门设计也是如此，xServer使用一个来标did识一个部门，同时可以将某个用户与某个部门进行关联。

相关部门操作接口请查阅部门管理接口。

1.6.4文件

每一个文件/目录在xserver中都由一个全局唯一的fid标识，对文件/目录的所有访问操作（如改名、移动、查询）都使用fid进行定位。

每个文件都有一个parentfid，由此标识父目录，从而形成一个树状模型。

xserver中的文件/目录与传统的文件系统一样具有树状结构，可以通过一个目录的fid枚举该目录下的文件/目录（文件访问接口）。

1.6.5文件群组

文件群组与QQ群很类似，可以将多个用户或部门加入一个群组，共享一个文件群组里的文件。

每一个文件群组使用全局唯一的标识。

可以通过gidACL模块的listGroup接口（acl模块JsonAPI）枚举当前用户参加的群组。

调用文件访问接口进行文件操作时，需要通过传入gid参数来指定访问的时哪个群组的文件。

1.6.6事件机制

xServer通过事件机制来对已有功能进行扩展。

例如，用户调用login接口进行登录时，会向xServer的事件服务发出一个"登录"事件，事件中携带当前登录的用户名、IP等信息，插件可以监听并处理此事件。

1.6.7业务逻辑和公共服务API

插件可以访问各个业务模块的内部API，例如，调用用户模块的API创建一个用户；公共服务API，例如写日志、Cache、访问数据库等（可以在xServer的JavaDoc中查询所有的业务逻辑/公共服务API集合和接口说明）。

2应用场景介绍

2.1实现统一文档管理架构

2.1.1利用群组文件夹共享实现文档协同共享应用

隐身侠云盘作为面向企业的云存储产品，与个人云存储产品的最大区别就是具有与企业“组织机构”集成，提供群组文件夹共享机制，隐身侠云盘系统能有效地替代企业现有的FTP、Window共享文件夹，能解决文档集中存储后的安全管理问题，能有效地提升企业内部员工文档协作的工作效率。

隐身侠云盘的“群组文件夹”功能具有如下一些特点：

群组文件夹的访问权限即可授权给某些用户，也可以授权给某个部门。

群组文件夹的授权访问用户，可授予可列表、只读、编辑、上传、修改、删除、移动、分享、锁定、管理等多种权限，并可自定义权限模板，可满足企业员工对文档的日常共享需求。

群组文件夹的创建者不必是企业IT管理人员，任何用户都可以创建群组文件夹，方便企业实际工作的空间授权管理。

群组文件夹的创建者通常就是企业各部门的业务管理者，无需IT管理部门参与，可节省部门间沟通的环节。

利用群组文件夹共享机制，可将原先IT部门对企业文档共享的集中管理权限，下放到各业务部门，即减轻了IT部门文档管理的压力，也增大了业务部门管理文档的灵活性。

群组文件夹的创建者可根据当前业务的需要随时创建，无需预先制定长远的目录规划。

可即刻开始工作，并可以随时修改目录结构。

群组文件夹直接就是云端文件的影像，能对所有授权访问者提供一致最新版本。

用户可以在群组文件夹中直接编辑文档，编辑结束后的文档即时显示到群组文件夹共享的所有用户终端，大家保持一致的最新版本

群组文件夹中的用户可以对文件进行“锁定”处理，被锁定的文件不会被其他用户窜改，因此能实现文档的统一维护更新。

并且也可以防止文档多人编辑时的冲突问题。

群组文件夹中的每一个用户，在每次编辑完成后，都会自动形成一份历史版本文件，群组的每个用户都可以追溯到该文档之前的所有历史版本，即能查看到文档形成历史过程

群组文件夹中的文档，支持Excel电子表格文件的“共享工作簿”编辑应用，直接支持在虚拟磁盘上进行多人协同表格工作。

文档的历史版本记录功能满足各类文档，与文档格式无关。

2.1.2多层嵌套授权管理机制

利用“群组文件夹”上述的一些特点，能快速实现统一文档共享及协同工作规范，具体举例如下：

实现企业公共文件快速分发到桌面。

1.企业管理者可将“企业制度”、“工作规范”等公共类型的文档通过公共访问授权的群组，直接下发到员工桌面端。

2.企业部门的主管可将“工作模板”等规范化模板文档下发给部门人员

对同一任务多个人分工进行的情况下，保持统一的、最新的工作版本

一个企业项目，需要5、6个人分工协作，每人负责一部分，大家实时保持最新的、一致的版本

企业管理者利用群组收集分散用户终端的资料，形成有序的文档集合

企业部门管理者利用群组监督员工的工作进度

利用隐身侠云盘文件共享实现的一种典型实现应用案例如下说明：

总经理可以监管所有项目组织、人员安排、工作进度的情况

复杂项目可以分级管理（“项目X”分解为相互独立的X1、X2）

一个员工可以参加多个项目（“员工C”同时参与项目X2、项目Y）

一个经理可以管理多个项目（“李经理”同时管理项目X2、项目Y）

一个员工可以同时作为项目普通成员和项目管理者（“牛博士”参与项目Y，同时管理项目Z）

2.1.3满足海量文档多类文档管理

企业所有人员都可以共享、分布式、并行使用的海量文件资源管理系统

1.用户账户数目可动态扩展

2.存储空间可动态扩展

3.存储管理的文件类型、数量不限

使用隐身侠云盘能实现文件服务基础功能统一（更专业、更可靠、更低成本）

1.所有文件数据在物理上集中、统一存储和安全备份

2.完善的安全管理机制（身份安全控制、访问权限控制、传输安全控制、操作行为审计）

3.统一的访问接口（Client端）和使用模式（读、写）

应用功能按需配置（通过文件夹的授权管理保持与业务流程一致）

1.按用户角色配置应用功能（权限）

2.按业务流程配置文件存储模式（域目录）

3.按组织架构配置用户账户

使用过程采用网络服务方式（部署和使用更为灵活）

1.可以部署在DMZ中（为职场办公、分支机构、移动办公、客户、合作伙伴服务）

2.可以完全部署在内网中（内部数据文件管理）

2.2实现终端用户数据回收及数据集中

2.2.1数据集中回收应用模式

从整体上看，本产品是属于客户端+云端应用模式。

每个用户的办公终端上需要通过部署专有客户端，实现对客户端文件数据向云端存储空间的回收管理。

隐身侠云盘客户端同时支持PC端、Web端、安卓、iOS四类客户端，能满足企业内部几乎所有文件终端进行文件回收的应用需求。

在最为传统的PC电脑客户端上，隐身侠云盘提供专门的虚拟磁盘客户端软件，模拟了本地的普通磁盘盘符。

在移动客户端上，隐身侠云盘提供了云端文件列表和各类操作功能，类似与功能全面地Web文件管理客户端。

整体上看，隐身侠云盘的整体文件回收模式说明如下：

通过隐身侠云盘客户端实现对终端用户数据的自动回收

2.2.2虚拟磁盘应用及优势概述

隐身侠云盘系统，使用了网络虚拟磁盘驱动程序，这个客户端程序能将云端所分配的空间，影射成为PC端的Windows操作系统下的一个普通磁盘盘符，这样用户通过登录自己的账号，就可以打开自己的云端空间，并且所有的文件操作习惯和应用方式均和Windows本地的磁盘文件操作完全一致。

利用上述方式，由于采用虚拟磁盘驱动程序，文件数据从云端到终端