1、数据中心空调系统应用白皮书77目 录 引言51.1 目的和范围51.2 编制依据51.3 编制原则6二 术语6三 数据中心分级83.1 概述93.2 数据中心的分类和分级9四：数据中心的环境要求104.1 数据中心的功能分区104.2 数据中心的温、湿度环境要求114.2.1 数据中心环境特点114.2.2 国标对数据中心环境的规定和要求124.3 数据中心的其它相关要求16五: 数据中心的机柜和空调设备布局185.1 机柜散热195.1.1 数据中心机柜195.1.2 机柜的布局215.2 机房空调及其布置235.2.1 机房空调概述235.2.2 机房空调送回风方式255.2.3 机房空调
2、布局25六：数据中心空调方案设计266.1 数据中心的制冷量需求确定266.2 数据中心的气流组织296.2.1 下送上回气流组织296.2.2 上送下(侧)回气流组织336.2.3 局部区域送回风方式366.3 空调系统的冷却方式选择376.4 空调设备的选择46七: 数据中心中高热密度解决方案487.1 区域高热密度解决方案487.2 局部热点解决方式507.3 高热密度封闭机柜527.4 其它高热密度制冷方式54八: 数据中心制冷系统发展趋势548.1 数据中心发展趋势：548.2 数据中心制冷系统发展趋势57九 机房环境评估和优化58附件一：数据中心要求控制环境参数的原因62附件二：机
3、房专用空调机组70图表 1 电子信息机房分类9图表 2 TIA942 对机房的分类9图表 5 不同机房等级的环境要求13图表 6ASHRAE 对数据中心环境要求的变化14图表 7 服务器主板气流方向19图表 8 服务器机柜尺寸规格20图表 9 常见的机柜进出风方式20图表 10 在不同进出风温差时的风量需求21图表 11 中高热密度机房的冷热通道布局示意图22图表 12 空调设备制冷系统原理图24图表 13 空调单侧布置示意图25图表 14 空调双侧布置示意图26图表 15 空调靠近热源布置示意图26图表 16 下送上回气流组织30图表 17 地板下送风和机柜冷热通道布局31图表 18 地板下
4、静压分布规律示意图32图表 19 上送风风道下回气流组织33图表 20 风道整体布局示意图35图表 21 上送风风帽送风下回气流组织36图表 22 局部区域送回风吊顶式送回风36图表 23 局部区域送回风水平气流送回风37图表 24 风冷式系统原理图38图表 25 乙二醇式系统原理图39图表 26 水冷式系统原理图40图表 27 冷冻水式系统原理图42图表 28 风冷双冷源式系列原理图43图表 29 各冷却方式对比表45图表 30 高热密度区域封闭冷风通道空间应用49图表 31 高热密度区域封闭冷风通道空间气流分布49图表 32 高热密度区域通道气流对比50图表 33 机房顶部加制冷终端形式5
5、1图表 34 机柜间安装空调终端形式51图表 35 冷通道封闭的示例52图表 36 封闭式水冷机柜应用52图表 37 封闭式水冷机柜工作原理示意图53图表 38 模拟示意图60图表 39 模拟示意图61图表 39 数据中心各设备热密度发展趋势图62图表 41 同等计算能力下消耗的机柜、服务器数量、占地和耗电对比62图表 42 部分计算厂家、机构对环境的要求63图表 43 部分交换机厂家对环境的要求63图表 44 电池寿命与温度关系65图表 45 低温下影响电池放电容量66图表 46 Intel 统计电脑故障原因分布67图表 47 静电损伤的阈值电压67图表 48 芯片被 ESD 击穿67图表
6、49 不同情况下产生的静电电压67图表 50 纽约地区通讯中心空气平均杂质浓度68图表 51 机房专用空调制冷系统原理简图70图表 52 舒适性空调在设计上与机房专用空调的差异73数据中心空调系统应用白皮书 引言1.1 目的和范围本白皮书介绍了数据中心环境要求、设备布局、空调系统设计、未来的发展趋势以及数据中心空调系统的评估和优化。本白皮书可以用于指导数据中心空调系统的规划和设计。1.2 编制依据本白皮书依据国家相关法律、法规以及设计标准与行业规范为基础，结合数据中心建设、运行、维护中的实际情况，经过多位行业专家的共同努力编制。主要参考的相法规、规范、标准有：GB50174-2008 电子信息
7、系统机房设计规范GB50462 电子信息机房施工及检验规范GB/T 19413-2003 计算机和数据处理机房用单元式空气调节机GB 50019-2003采暖通风与空气调节设计规范 GB 50243-2002通风与空调工程施工质量验收规范 GB 10080-2001空调用通风机安全要求GB 50015-2003建筑给水排水设计规范 GB/T 14295 空气过滤器GB50243-2003 通风与空调工程施工质量验收规范JB/T 4330 制冷和空调设备噪声的测定JB/T 8655 单元式空气调节机安全要求GB/T18430 蒸汽压缩循环冷水（热泵）机组Thermal Guidlines for
8、 Data Processing Environments 2008 TIA942 标准(Telecommunications Infrastructure Standard for Data Centers)中国电信2005658 号 IDC 产品规范和 741 号文件中国移动公司对机房的环境控制指标要求GB/T 153951994电子设备机柜通用技术条件EIA-310-DCabinets, Racks, Panels, and Associated Equipment接线柜、支架、仪器板和辅助设备1.3 编制原则1. 考虑内容的适应性、覆盖性、全面性。适应性：适应当前和未来一段时期数据中心
9、的技术发展状况以及未来新技术、新产品的发展，有关数据和资料与新设备、新材料、新技术、新工艺的发展水平相适应；符合现行的国家标准、行业标准或规定。覆盖性：应覆盖国内各种数据中心的空调系统工程设计、施工和检验，纳入成熟的、经过验证的应用方案、方法及设备等。全面性：内容、体系完整。2. 以数据中心空调系统方案设计为中心。侧重设计方案和原则、重要技术方案的确定、参数计算和确定、设备选型与布置等方面的内容。同时避免内容冗杂，通过分类提供相关标准、规范、参考资料的索引，提供深入学习和研究的途径。 3强化充实节能、安全、环保设计的相关内容。二 术语2.1 数据中心 dataCenter数据中心通常是指在一个
10、物理空间内实现信息的集中处理、存储、传输、交换、管理，而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。关键设备运行所需要的环境因素，如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。2.2 主机房 computer room主要用于电子信息处理、存储、交换和传输设备的安装和运行的建筑空间。包括服务器机房、网络机房、存储机房等功能区域。2.3 辅助区 auxiliaryroom用于电子信息设备和软件的安装、调试、维护、运行监控和管理的场所，包括进线间、测试机房、监控中心、备件库、打印室、维修室等区域。2.4 支持区 support
11、area支持并保障完成信息处理过程和必要的技术作业的场所，包括变配电室、柴油发电机房、UPS 室、电池室、空调机房、动力站房、消防设施用房、消防和安防控制室等。2.5 行政管理区 administrative area用于日常行政管理及客户对托管设备进行管理的场所，包括工作人员办公室、门厅、值班室、盥洗室、更衣间和用户工作室等。2.6 相对湿度 relative humidity空气中实际含有的水蒸气量与同温同压下能容纳的水蒸气的最大量之比，用%表示。2.7 焓 enthalpy热力学中表示物质系统能量的一个状态函数，表示工质所含的全部热能，等于该工质的内能加上其体积与绝对压力的乘积。常用符号
12、 H 表示。2.8 加湿量 Humidification指单位时间内加入密闭空间、房间或区域的空气中的水分，叫加湿量。单位：公斤/小时（kg/h）2.9 能效比 （EER) energy efficiency ratio在额定工况和规定条件下，空调器进行制冷运行时，制冷量与制冷消耗功率之比。2.10 性能系数（COP） coefficient of performance在相关标准规定的名义工况下，机组以同一单位表示的制冷（热）量除以总输入电功率得出的比值。2.11 全年能效比（AEER） annual energy efficiency ratio机房空调进行全年制冷时从室内除去的热量总和与
13、消耗的电量总和之比。2.12 制冷量（制冷能力） total cooling capacity空调器在额定工况和规定条件下进行制冷运行时，单位时间内从密闭空间、房间或区域内除去的热量总和，单位：kW。2.13 显热制冷量 sensible cooling capacity在规定的制冷量实验条件下，空调机从机房或基站除去显热部分的热量，单位：kW。2.14 制冷消耗功率 refrigerating consumed power在规定的制冷量试验条件下，机房空调所消耗的总功率，单位为瓦（W）。2.15 显热比 sensible heat ratio显热制冷量与总制冷量的比值，用等于 1 或者小于
14、1 的小数表示。2.16 送风量 indoor discharge air-flow空调器用于室内、室外空气进行交换的通风门和排风门（如果有）完全关闭，并在额定制冷运行条件下，单位时间内向密闭空间、房间或区域送入的风量，单位： m3/h。2.17 冷风比（cooling-air ratio）在规定的制冷量实验条件下，空调机的总制冷量与每小时送风量之比，单位为W/(m3h-1)2.18 机外静压机组风机出口处与回风口处的静压差，单位为 Pa。2.19 机 房 专 用 空 调 机 （ air-conditioningunitdedicatedusedin telecommunication equ
15、ipment room）机房专用空调是根据通信设备对机房温湿度要求设计的具有高可靠性，高显热比等特点、并具有能自动调节空调参数及进行参数检测、故障报警显示、停电自启动等智能控制功能的空气处理装置。一般送风量较大，空气处理焓差小，显热比大，适合通信机房使用。2.20 能量使用效率 PUE（ power usage effectiveness）2.21 热通道/冷通道（hot aisle/cold aisle）热通道/冷通道数据中心的服务器机架和其他计算设备的布局设计。热通道冷通道构造旨在通过管理气流来节约能源和降低冷却成本。2.22 乙二醇（或水）干式冷却器 glycol（water）dryco
16、oler由室外空气对管内带有排热量的乙二醇溶液（或水）进行冷却的冷却器。被冷却的乙二醇溶液（或水）可以用于制冷系统冷凝器的冷却介质，或者低温季节采用乙二醇自然循环冷却器用于冷却机房内的循环空气。简称干冷器。2.23 双冷源式 dual cool在风冷式、水冷式或冷水式机房空调吸热侧的空气处理通道中，再附加一套冷水盘管，其冷水由其它冷源提供，可实现以不同冷源制冷运行的机房空调。三 数据中心分级3.1 概述随着信息化的深入，越来越多用户需要大量的数据处理和信息交换，相应的越来越多的企业开始建设数据中心建设，专门的数据中心服务企业也应运而生，为其他机构提供专业的数据服务。 数据中心是业务系统与数据资
17、源汇聚的场所，从应用层面看，包括业务系统、基于数据仓库的分析系统；从基础设施层面看，包括服务器、网络、存储、供电、环境和管理系统。3.2 数据中心的分类和分级按规模，数据中心可以分为超大型数据中心、大型数据中心、中型数据中心和小型数据中心，甚至还有迷你数据中心。从运营层面，数据中心可以分为企业自用数据中心、第三方托管数据中心。我国在 2008 年制定的电子信息机房设计规范GB 50174-2008，从机房可用性角度将电子信息机房定义为 A、B、C 三类，其中 A 类要求最高（如表 1 所示）。数据中心一般按 A 类或 B 类标准执行。图表 1 电子信息机房分类美国 TIA 942 标准与 Up
18、time Institute 的定义，将数据中心的可用性等级分为四级（如表 2 所示）：图表 2 TIA942 对机房的分类从以上可以看出，两个标准对于机房的可用性定义基本一致。数据中心空调系统的要求和配置也与机房的可用性等级直接相关。四 数据中心的环境要求4.1 数据中心的功能分区通常数据中心作为一幢建筑单体(为少数，如：IDC 或大型企业数据中心)或某一建筑中的一部份(为多数，占公共建筑物中的一个局部区域)的形式构建。一个数据中心通常主要包括：主机房、辅助机房、支持机房和行政管理区等。各机房面积的选取应可参考 GB50174-2008电子信息系统机房设计规范的 4.2中的规定。主机房主要用
19、于电子信息处理、存储、交换和传输设备的安装和运行的建筑空间。包括服务器机房、网络机房、存储机房等功能区域。辅助区为用于电子信息设备和软件的安装、调试、维护、运行监控和管理的场所，包括进线间、测试机房、监控中心、备件库、打印室、维修室等区域。支持区是支持并保障完成信息处理过程和必要的技术作业的场所，包括变配电室、柴油发电机房、UPS 室、电池室、空调机房、动力站房、消防设施用房、消防和安防控制室等。行政管理区是用于日常行政管理及客户对托管设备进行管理的场所，包括工作人员办公室、门厅、值班室、盥洗室、更衣间和用户工作室等。在数据中心中，主机房一般安排在中间位置, 并且尽量使主机房设计为规正的四方型
20、。应尽量避免采用圆型、L 型以及过于狭长的长方型建筑，此类数据中心不利于机房内的设备布置以及气流组织分配。捷联提供相关示意图。4.2 数据中心的温、湿度环境要求4.2.1 数据中心环境特点数据中心中都安装有大量的计算机设备，计算机处理速度越来越快、存储量越来越大、体积越来越小是计算机发展的趋势，也就是说单位面积的散热量越来越大。而在机房场地建设时，为节省初期项目投资，满足一定时期内的业务发展和设备需要，在满足必须的设备运行、维护通道的前提下，一般用户都希望尽可能多地安装设备及设备机架，这就形成了与民用建筑和工业厂房空调负荷的显著区别。A. 显热量大数据中心内安装的服服务器、路由器、存储设备、交
21、换机、光端机等计算机设备以及动力保障设备，如 UPS 电源，均会以传热、对流、辐射的方式向数据中心内散发热量，这些热量仅造成机房内温度的升高，属于显热。一个服务器机柜散热量在每小时几千瓦到十几千瓦，如果是安装刀片式服务器，散热量会高一些。数据中心设备散热量一般均在 400Wm2 以上，装机密度较高的数据中心可能会到 1000 Wm2 以上。机房内显热比可高达 95%。B. 潜热量小不改变机房内的温度，而只改变机房内空气含湿量，这部分热量称为潜热。机房内没有散湿设备，潜热主要来自工作人员及室外空气，而大中型数据中心一般采用人机分离的管理模式，机房围护结构密封较好，新风一般也是经过温湿度预处理后进
22、入机房，所以机房潜热量较小。C. 风量大、焓差小设备的热量是通过传导、辐射的方式传递到机房内，设备密集的区域发热量集中，为使机房内各区域温湿度均匀，而且控制在允许的基数及波动范围内，就需要有较大的风量将余热量带走。另外，机房内潜热量较少，一般不需要除湿，空气经过空调机蒸发器时不需要降至露点温度以下，所以送风温差及焓差要求较小，为将机房内余热带走，就需要较大进风量。D. 不间断运行、常年制冷机房内设备散热属于稳态热源，全年不间断运行，这就需要有一套不间断的空调保障系统，在空调设备的电源供给方面也有较高的要求，不仅需要有双路市电互投，而且对于保障重要计算机设备的空调系统还应有发电机组做后备电源。长
23、期稳态热源造成即使在冬季机房内也需要制冷，尤其是在南方地区，更为突出。在北方地区，如果冬季仍需制冷，在选择空调机组时，需要考虑机组的冷凝压力和其他相关问题，另外可增加室外冷空气进风比例，以达到节能的目的。E. 多种送回风方式空调房间的送风方式取决于房间内热量的发源及颁布特点，针对机房内设备密集式排列，线缆、桥架较多以及走线方式等特点，空调的送风方式分为下送上回、上送上回、上送侧回、侧送侧回、上送后回、前下送上回等。F. 静压箱送风机房内空调送回风通常不采用管道，而是利用高架地板下部或天花板上部的空间作为静压箱送回风，静压箱内形成的稳压层可使送风较均匀。G. 温湿度要求高由于服务器、存储设备、路
24、由器等电子信息设备的制造精度越来越高，导则其对环境的要求也较高。对温湿度均有较高的要求。温度过高会造成服务器设备故障率升高、可靠性下降，甚至直接造成设备宕机。湿度会影响电子设备内部电路故障，湿度过低易使设备产生静电，造成电子部件击穿短路等故障，湿度过高会造成电器元件短路、腐蚀等。H. 洁净度要求高电子计算机机房有严格的空气洁净度要求。空气中的尘埃、腐蚀性气体等会严重损坏电子元器件的寿命，引起接触不良和短路等，因此要求机房专用空调能按相关标准对流通空气进行除尘、过滤。另外，要向机房内补充新风，保持机房内的正压。主机房与其他房间、走廊间压差不应小于 5Pa，与室外静压差不应小于 10Pa。4.2.
25、2 数据中心环境要求目前在国内对数据中心环境要求最权威的标准为 GB50174-2008电子信息系统机房设计规范。标准规定了电子信息机房在不同区域的温湿度要求，主机房和辅助区采用标准规定的温湿度要求，基本的环境设计可按照标准附录 A中的环境要求，参见下表摘录部分。而数据中心的支持区（不含 UPS 室）和行政管理区的温、湿度控制值应按现行国际标准 GB50019采暖通风与空气调节设计规范的相关规定。标准对不同等级的机房以及不同性质的机房的环境要求进行了划分，大部分数据中心属于 A 级或 B 级。图表 3 不同机房等级的环境要求标准电子计算机机房设计规范还对机房的洁净度有要求：主机房内的空气含尘浓
26、度，在静态条件下测试，每升空气中大于或等于 0.5 m 的尘粒数，应小于 18000 粒。A 机房温度要求在正常工作的服务器中，一般 CPU 的温度最高，当电子芯片的温度过高时，非常容易出现电子漂移现象，服务器就可能出现宕机甚至烧毁。数据中心温度是确保服务器等 IT 设备正常稳定运行的先决条件，温度对设备的电子元器件、绝缘材料以及存储介质都有较大的影响。数据通信设备运行时会产生极大的显热量，当数据通信设备较长时间处于高温或较大温度变化梯度的环境中时，可能因温度过高而出现宕机现象，温度太高，可使数据处理设备工作环境恶化，长此以往，将缩短电子信息设备的使用寿命，也使电子信息设备的可靠性降低。 因此
27、机房环境温度与设备运行的可靠性之间有必然联系。电子信息系统机房设计规范(GB 501742008)中对相应机房的设计温度也做了规定，该规范将电子信息系统机房划分成 3 级。对于数据中心来讲，均应按 A 级与 B 级要求控制主机房温度，其主机房设计温度为 23l，C 级机房的温度控制范围是 1828，机房不工作时，其温度应控制在 535。辅助机房的无能的控制范围为 18-28。另外对于不间断电源(UPS)和电池室要求温度控制在 15-25。美国的 ASHRAE（美国暖通制冷空调工程师协会）发布的ASHRAE Environmental Guidelines for Datacom Equipme
28、nt 2008也对数据中心的环境进行了详细的规定和解释。ASHRAE 在 2008 版本中推荐的温度范围为 18-27，相比 2004 版本的 20-25要求放宽了很多。推荐的湿度范围为大于 5.5的露点温度的相对湿度，小于 60%的相对湿度。放宽的要求在保证机房设备正常运行的时候,可以减少机房制冷、加热、加湿、除湿的耗能，降低机房空调系统的能耗，提高 PUE。图表 4ASHRAE 对数据中心环境要求的变化在实际的机房运行过程中, 机房环境的控制要求可以根据实际要求参考以上标准以及季节等因素进行区别设定, 以达到降低机房能耗的要求。在特殊情况需要根据数据设备供应商的要求而定。B 环境温度变化率
29、要求一些数据通信设备制造商制定了数据通信设备允许环境温度变化率的标 准，以避免环境温度的突然变化对数据通信设备造成冲击。环境温度变化率标准可适应所有已安装的数据通信设备。国标推荐的温度变化率为小于 5/h。 ASHRAE 推荐最大环境温度变化速率为 5/h。磁带和存储设备对温度变化速率要求更高，相关厂家一般要求其环境温度变化速率小于 2/h，湿度变化速率小于 5%/h。但一旦空凋冷却系统出现故障，设备周围环境温度的变化速率可能比很大，甚至超过 20。数据通信设备不工作时可以允许其环境温度在一个较大范围内变化，但需要向数据通信机房提供不间断供冷，以维持最低的运行工况，避免数据通信设备受到热冲击。
30、C 相对湿度要求较高的相对湿度会使数据中心内的设备的短路、磁带介质出错和元器件及电路产生腐蚀现象。在极端的情况下，相对湿度较高还会使设备的冷表面可能出现冷凝现象，这对设备的威胁更大。较低的相对湿度将产生影响设备运行的静电，造成元器件的击穿、短路等故障，甚至可能损坏设备。磁带和存储介质在低相对湿度下也会产生过度磨损，所以数据中心环境湿度应控制在合适的湿度范围内。电子信息系统机房设计规范中推荐机房的湿度为：A 级与 B 级机房要求控制主机房湿度 40%-55%，其辅助机房的湿度的控制范围为 35%-75%。ASHRAE（美国暖通制冷空调工程师协会）发布的ASHRAE Environmental Guidelines for Datacom Equipment 2008中推荐的湿度范围为大于 5.5的露点温度的相对湿度，小于 60%的相对湿度。推荐湿度的下限改为了露点温度，放宽的要求在保证机房设备正常运行的时候,可以减少机房加湿、除湿、加热的耗能，降低机房空调系统的能耗，提高 PUE。D 空气过滤要求空气中的尘粒将影响数据通信设备运行，因此，数据中心的空调系统应采用高效的、合适的过滤装置。腐蚀性气体会快速破坏印刷电路板上的金属薄膜和导电体，导致末端连接处电阻值增大。尘粒在散热板上堆积也将增加热阻，降低换热效率。另外，灰尘在高
