1、09陕西电信dns扩容项目技术方案书2009年中国电信陕西公司DNS扩容工程技术方案北京融海恒信咨询2009年08月一、DNS系统目前状况1、系统概述在09年1月的西安市拨号专线分离完成后，目前，为陕西省互联网用户提供DNS解析查询请求回应的效劳器群共有3组。它们是位于二长16楼的、，该组效劳器群是为西安主用，九地市作备用和位于西华门2楼的，该组效劳器群是为九地市主用，西安作备用。其中西华门效劳器群有1台四层互换机（radware AD3020）、3台效劳器（SUN X4200）组成，其中一台效劳器安装商用CNS应用软件，其余两台安装免费BIND应用软件。二长专线节点由一台CNS效劳器（）组成
2、，为西安市专线用户主用，九地市用户备用。二长拨号节点（）由四层互换机（radware AD3020）、3台效劳器（SUN X4200）组成，均安装免费BIND应用软件。目前，DNS系统只缓存域名效劳器与授权效劳器分开设置，拨号用户利用的只缓存域名效劳器和专线用户利用的只缓存域名效劳器混合设置。在2020年6月25日，广东省路由故障时，由于QQ软件重复登录造成DNS流量异样增加，致使西华门四层互换机瘫痪，进而造成全省流量（峰值Qps超过万）压迫到二长专线节点（），使其超出处置能力，进而致使省内DNS效劳中断15分钟。从这次事件反映出，四层互换机已经完全成为DNS系统的瓶颈、目前专线节点的处置能力
3、不足，因此急需要进一步延续上一次的不同化效劳，对九地市的专线和拨号用户进行分离。为专线用户和拨号用户提供完全独立的DNS系统。这次采纳成熟的Anycast技术，利用等价路由为两台CNS效劳器做负载均衡，以便幸免四层互换机的瓶颈作用，为专线用户提供高靠得住性低响应时刻的效劳。西华门DNS系统结构图见图1，二长DNS系统结构图见图2图：西华门DNS系统结构图（九地市用户主用）图2： 二长DNS系统结构图（西安用户主用）目前，全省的DNS效劳器及四层互换机设备配置情形如表一、表2所示：表：陕西省DNS Cache效劳配置情形统计表序号DNS服务器类型DNS服务器配置应用系统版本单位数量地点1CACH
4、ESUN X4200Solaris 10 X86台3西华门2x AMD Opteron Model 290 1MB) dual core processor双核处理器, 4x 2GB PC3200 DDR1-400 memory（Up to 32GB)内存, 2x 146GB 10K RPM SAS drive硬盘,Raid 1功能,4x 10/100/1000Ethernet ports四个网口2CACHESUN X4200Solaris 10 X86台4二长2x AMD Opteron Model 290 1MB) dual core processor双核处理器, 4x 2GB PC32
5、00 DDR1-400 memory（Up to 32GB)内存, 2x 146GB 10K RPM SAS drive硬盘,Raid 1功能,4x 10/100/1000Ethernet ports四个网口表：陕西省DNS四层互换机配置情形统计表节点名称设备配置支持的最大并发会话数1西华门节点四层交换机Radware AD3020；配置：44G背板带宽；8 个 GBIC 端口及 12 个10/100/1000快速以太网端口最大新建会话数25万；最大并发会话数200万2二长节点四层交换机Radware AD3020；配置：44G背板带宽；8 个 GBIC 端口及 12 个10/100/1000
6、快速以太网端口最大新建会话数25万；最大并发会话数200万2、现有系统运行数据测算在一期的不同化完成后，通过半年的运行，通过网管统计发觉，发觉近期三节点的Qps增加速度较快。目前二长专线节点的顶峰Qps已经达到万，西华门节点的Qps已经接近万。考虑到目前西安专线节点只采纳一台CNS效劳器，本身并无备份，另外其处置能力无法知足两节点的整体Qps的处置量（故障中，四层瘫痪，造成所有压力均压在西安专线节点，峰值达到万Qps，超过其处置能力，致使整理DNS不可用）。另外，由于上次的不同化工程并未完成，因此无法从系统整体结构上为专线用户提供独立的效劳，因此这次需要对西华门节点进行分流。完整的对全省的拨号
7、及专线用户DNS请求进行分离，并利用Anycast技术为专线用户提供高可用性的冗余爱惜。3、处置能力需求分析依照中国电信陕西省20092010年网络进展转动计划（省内远程分册），到2020年12月，全省宽带接入用户将进展到万户，其中西安万户。 详见下表：表 20092010年12月陕西电信宽带接入用户预测表年份/月2009年5月2009年12月2010年12月西安宽带拨号用户638961 742681 856117 专线用户5917 6509 7810 九地市宽带拨号用户853735 979174 1128730 专线用户14122 15534 18641 全省宽带拨号用户1492696 17
8、21855 1984847 专线用户20039 22043 26451 合计1512735 1743898 2011299 目前，在顶峰期全省用户QPS达到万，依照目前的DNS散布分析计算， DNS业务需求表如下表所示：表： 20092020年陕西电信DNS业务需求表年份/月2009年5月2009年12月2010年12月西安宽带拨号用户638961 742681 856117 宽带QPS15123 18457 22340 比例%专线用户5917 6509 7810 专线QPS16609 19183 24171 比例%九地市宽带拨号用户853735 979174 1128730 宽带QPS125
9、7615145 18331 比例%专线用户14122 15534 18641 专线QPS1190113746 17320 比例%全省合计宽带QPS27699 33602 40671 专线QPS28510 32929 41491 4、Anycast技术原理Anycast方式最初概念于RFC1546，意为处于互联网中的一台主机向某一Anycast地址发送IP协议报文，互联网负责将其送往一个接收目的地址为Anycast地址的主机。那个地址Anycast地址概念为用于实现主机标记的IPv4或IPv6地址，可能有多个互联网主机接收目的地为该地址的IP报文。利用Anycast技术，提供同一类效劳的所有效劳
10、器可配置同一个Anycast IP地址，路由系统自动将效劳请求送至最近的效劳器。图：Anycast技术原理Anycast 是目前当前应用较广的负载均衡技术。国外很多DNS系统都应用了Anycast技术，它具有以下优势：优势：全网负载均衡较好，用户按地域的就近访问，网络时延小；壮大的冗余备份功能，域名解析效劳不依托于少数几个节点的连通性，每一个节点都具有冗余备份功能，节点越多冗余备份功能越强；能有效预防DDoS解决；有利于IPv6网络的部署，节点升级对用户几乎没有阻碍。Anycast技术既能够在整个网络间利用，也能够在单节点内采纳等价路由实现负载分担，通过前期测试，其负载大体维持在1：1的比例，
11、负载不同最大在10%之内，能够知足一样节点的负载均衡要求。这次陕西电信不同化效劳中，专线节点的负载均衡利用Anycast技术。图：节点内Anycast示用意二、增加专线用户DNS系统的必要性1、提高用户的体验在2020年1月西安市专线用户流量进行后，目前约有75%左右的西安市拨号用户已经转移到新的DNS节点（），已经慢慢降低了各节点的压力，目前系统运行状态正常。西安市专线DNS节点现要紧为西安市专线用户提供解析效劳，利用CNS软件的高可用性及低响应时刻的特点为其提供高质量的效劳。这次，需要进一步分流九地市专线用户流量，最终形成专线用户与拨号用户别离独立的DNS系统。通过独立的DNS系统第一为专
12、线用户提供专业、平安快捷的DNS效劳。通过不断优化，慢慢提高陕西DNS的系统的处置能力，以便知足不断增加的趋势。打算在这次分流工作完成后，两个专线节点的峰值处置能力达到70000Qps，两个拨号节点的处置能力达到44000Qps，大体上知足陕西省电信誉户至2020年末的解析需求。同时通过提高性能，降低各台效劳器的处置压力，能够及时降低用户DNS请求的响应时刻，因此用户最终的体验速度将取得提升。2、提高系统可用性在目前DNS的运行，多次显现因为DDos解决，致使四层互换机处置能力不足而瘫痪，致使某一节点瘫痪，进而阻碍到另一节点效劳质量下降，显现DNS多次响应时刻太长或不可用的情形。通过这次分析，
13、第一利用Anycast技术，排除四层互换机的瓶颈，保证专线用户DNS节点的高可用性高可考性及平安性。第二，通过这次分流，降低现有的四层互换机的压力，使其能够知足省内拨号用户需求，并提高其靠得住性及可用性。三、陕西电信DNS系统不同化调整方案一、整体调整目标和调整内容 为了给省内专线用户提供高靠得住性高可用性的DNS解析，同时为了知足省内用户至2020年末的进展需要，对目前的DNS系统进行不同化调整，以便能够实现以下的目标：专线用户与拨号用户DNS分流本次不同化方案调整的目标是省内拨号用户与专线用户DNS解析的完全分离。最终实现西安专线用户利用西安市专线用户的主用DNS为，备用DNS为。九地市专
14、线用户主用DNS为，备用DNS为。拨号用户利用的DNS效劳地址为，及（待定）。西安市拨号用户主用DNS为，备用DNS为 。九地市拨号用户主用DNS为，备用DNS为。增强专线用户DNS系统的稳固性靠得住性并提高处置能力在专线用户的两个节点，均采纳成熟的Anycast架构，每一个节点由路由器利用等价路由协议将流量均分至两台CNS效劳器以实现负载分担。通过此架构能够解决：排除四层互换机的瓶颈；利用两台CNS做负载均衡，使单节点的处置能力达到70000Qps，知足至2020年末全省专业用户的进展要求。增强拨号用户DNS效劳系统的处置能力在拨号节点，新增Bind效劳器，继续增强拨号用户DNS效劳系统的处
15、置能力。使其但节点的处置能力达到44000Qps，知足至2020年末全省拨号用户的进展要求。 依照以上的目标，这次不同化方案包括以下的内容：专线、拨号用户效劳系统分离在所有专线用户的专用DNS节点和拨号用户专用的DNS节点搭建完成后，通过电信各地市慢慢修改拨号用户Base，使拨号用户慢慢转移到新的节点上，以便实现专线及拨号用户DNS效劳的分离。增加CNS软件部署陕西电线原有两套CNS商用软件，现已无法知足业务增加的需求，因此为保证业务增加需求，这次不同化方案需要新增两套CNS软件，与原有的CNS软件一起组成Anycast架构，为专线用户提供高质量、高靠得住性的DNS解析效劳。调整专线用户效劳系
16、统的架构-ANYCAST（替换原有四层互换机模式）通过对以往DNS系统故障的分析和统计，发觉当DNS解决发生时， 90%的情形下，都会造成四层互换机第一瘫痪，致使DNS节点不可用。因此为保证为专线用户提供最为高靠得住性高可用性的DNS效劳系统，幸免显现类似的四层互换机的瓶颈作用，因此采纳已经成熟的Anycast架构组建专线用户的DNS节点。为为拨号用户DNS系统增加效劳器依照下表的预那么，到2020年末，全省拨号用户的峰值Qps将达到万。现有节点的效劳器将无法经受，因此在这次方案中，为拨号用户新增三台效劳器，形成每节点四台Bind效劳器，单节点的峰值处置能力将达到万Qps，大体能够知足至202
17、0年末的全省拨号用户访问需求。年份/月2008年12月2009年12月2010年12月全省宽带用户万万万全省Qps万万万专线用户QPS万万万普通用户QPS万万万二、DNS系统不同化调整方案系统调整计划2.1.1 DNS系统现状在2020年1月第一时期完成西安市拨号及专线DNS分流后，目前陕西电信DNS的结构如下：图：二长DNS系统结构图（西安市用户主用）图：西华门DNS系统结构图（九地市用户主用）通过一期的分流工作已经实现了部份分流，时期性的完成了分流工作，但西安市专线DNS节点只采纳了一台CNS效劳器，节点无备份。同时，西华门节点的DNS未进行拨号用户及专线用户的分流，仍是专线与拨号混用的模
18、式。继续实施并最终实现全省的DNS系统分流是本期分流工作的要紧目标和工作内容。2.1.2 DNS系统调整设计方案本次不同化效劳，除进行专线和拨号用户的分流外，还采纳成熟的Anycast架构巩固专线节点，利用等价路由协议直接在路由层进行负载分担工作，利用两台CNS效劳器未专线用户提供底响应时刻，高靠得住性的效劳。打算在新的Anycast的架组成立后，对全省拨号用户base进行修改，西安市拨号用户主用DNS为，备用DNS为 。九地市拨号用户主用DNS为，备用DNS为。打算通过30天左右的分流期，将接近80%的拨号用户转移到新的DNS节点上。专线用户不需要专门通知，维持原有DNS设置。打算实施完成后
19、，陕西电信DNS系统能够大体知足至2020年末的DNS增加需求。完成后的系统架构为： 图：陕西电信DNS系统拓扑目标图二长节点结构调整二长节点已在2020年1月进行了专线用户及拨号用户DNS系统的分离。目前专线用户DNS由一台CNS效劳器组成，拨号用户DNS系统由三台Bind效劳器组成。依照这次不同化的目标，需要进行以下的调整工作：安装调试Anycast架构的DNS，并进行相关测试为新增的两台效劳器安装CNS软件，并进行Anycast相关的调试。割接原有专线节点（）待Anycast系统通过压力及稳固性测试后，对原有专线用户节点进行割接，利用Anycast结构替换原有单台CNS效劳器模式。通过割
20、接后使节点的处置能力从目前的35000Qps，提高到70000Qps。从头安装调试原有DNS效劳器，将其加入拨号节点（）中将原节点效劳重视新安装Bind软件，测试正常后加入拨号专用节点（）。使其的处置能力从目前的33000Qps提高到44000Qps，以便知足至2020年末的DNS增加需求。在二长节点调整完成后，形成一套Anycast架构和一套四层互换机架构的DNS节点，其别离为西安市专线用户主用、西安市拨号用户主用。西华门结构调整西华门节点现由一台四层互换机，一台CNS效劳器及两台Bind效劳器组成，尚未进行拨号及专线用户DNS系统的分离。依照不同化效劳方案的目标，这次西华门系统需要进行以下
21、的调整：安装调试Anycast架构的DNS，并进行相关测试为新增的两台效劳器安装CNS软件，并进行Anycast相关的安装调试。在安装完成后，对其进行稳固性及压力测试，以便保证系统上线后，能够正常稳固工作。割接原有专线节点（）待Anycast系统通过压力及稳固性测试后，对原有专线用户节点进行割接，利用Anycast结构替换原有单台CNS效劳器模式。通过割接后使节点的处置能力从目前的35000Qps，提高到70000Qps。西华门拨号用户专用节点调整通过设置四层互换机，修改DNS效劳地址（），修改完成后从头上线，为西华门拨号用户专用DNS节点。将新增的一台效劳器和原有CNS效劳器从头安装Bind
22、软件，测试正常后加入拨号专用节点（）。使其的处置能力从目前的33000Qps提高到44000Qps，以便知足至2020年末的DNS增加需求。在西华门节点调整完成后，形成一套Anycast架构和一套四层互换机架构的DNS节点，其别离为九地市市专线用户主用、九地市拨号用户主用。 DNS分流及分析监控方案2.4.1 DNS分流方案在二长及九地市专线用户DNS架设好后，需要通知各地保护部门进行拨号用户的Base修改工作。其中西安市拨号用户主用DNS设置为，备用DNS设置为。九地市拨号用户主用DNS设置为，备用DNS设置为。二长及西华门节点的拨号节点的DNS形成互补。当二长拨号节点DNS显现故障时，西华
23、门拨号节点的四台Bind效劳器能够承担起省内所有拨号用户相应的解析要求；当西华门拨号节点DNS显现故障时，二长拨号节点的四台Bind效劳器能够承担起省内所有拨号用户相应的解析要求。经计算在分流后，九地市专线用户的目前峰值Qps在10000左右，而CNS能够承担的压力在25000Qps（CPU利用率在50%左右）。九地市拨号拨号用户的目前峰值Qps在6000左右，四台Bind效劳器能够经受的最大压力在26000Qps（CPU利用率在50%左右）。依照目前陕西电信誉户数的增加趋势，九地市拨号用户与专线用户的DNS能够知足2010年底用户的增加解析需求。表：各地市Base调整表地市主用DNS备用DN
24、S西安咸阳宝鸡渭南延安榆林汉中铜川安康2.4.2 DNS分析及监控方案在开始DNS分流后，每日分析整理系统的运行状态和DNS散布情形分析，为不同化效劳的正常实施，提供相应的数据支持。DNS分流状态分析监测流量转变及随时调整流量，天天按时监测搜集新专线用户DNS请求数据及原有DNS系统运行数据，保证DNS系统的正常运行。监测CNS软件运行日记，及CPU利用率、QPS相关等数据，进行专线用户响应时刻测试等，发觉异样随时进行CNS软件配置调整及流量调剂分派等。严格依照DNS不同化效劳项目配置步骤、DNS不同化效劳项目应急保障预案进行操作，确保业务稳固健康，使专线用户的效劳质量取得最大限度的提升。表：
25、西华门流量散布表序号归属地总百分比所占百分比所占百分比1西安%2榆林%3延安%4汉中%5安康%6宝鸡%7咸阳%8渭南%9商洛%10铜川%11C网%0%100%DNS系统监控对天天搜集的数据进行统计汇总，对照拨号及专线节点间的流量转变趋势。确保已经划转的客户业务顺畅、同时对整个原有DNS系统的运行状况进行分析，进而为后续的流量划转工作提供指导和优化。四、DNS系统优化项目实施内容及打算考虑到系统实施的复杂性及涉及的范围，融海咨询对本项目的具体实现方式、进度安排等实施方案建议如下。一、项目组织结构咱们建议的项目组织结构如图51所示。图51项目组织结构图用户和公司各派出高层领导担任本项目负责人，把握
26、项目的方向、决定项目的重大事项、和谐两边的关系。项目领导由公司和客户各派一人担任，负责项目打算、组织和分工、操纵项目进度、考核项目人员业绩、和谐项目人员间的关系。项目治理的具体工作要紧由公司的项目领导负责，但客户方也应派出项目领导（项目负责人），参与项目治理。二、项目实施配合需求 在工程实施分流进程中，需要电信配合提供的环境保障方面的工作有：(1)、提供硬件效劳器，提供网络环境。提供安装CNS软件的硬件效劳器及网络安装环境（包括IP等），以便顺利安装调试软件。(2)、提供陕西省专线用户的IP范围，以便配合CNS设置支持范围。由于新的CNS要紧对西安专线用户提供效劳，同时下一步也将为九地市专线用
27、户提供效劳。为了确保专线用户能够取得优质的效劳，而且保证流量分派依照打算进行。因此此效劳器只针对省内专线用户效劳，需要提供其IP范围，以便进行配置。(3)、通知四层互换机厂商及效劳器厂家工程师，配合依照DNS系统的状态进行系统设置调整。(4)、配合调整核心路由器路由设置，配合测试Anycast架构。(5)、在分流时期，需要电信安排专人在指定之间通知各区局的专线用户修改DNS地址。3、系统扩容及结构改造部署实施（1）、DNS不同化效劳项目设计计划：工作量为60人.天要紧完成：用户流量分析、预测及计划等工作，完成编写陕西电信09年DNS系统扩容及不同化效劳的整体方案设计、本期09年DNS系统扩容调
28、整及不同化效劳的可行性方案设计、项目实施打算、项目配置标准及步骤、项目实施应急保障预案等。（2）、系统扩容及结构改造(Anycast架构)部署实施: 工作量为69人.天项目实施分为软硬件部署配合、DNS不同化流量分流监测调优和不同化效劳质量检测评估等三部份。A、系统架构及网络环境预备 15工作日（安装调试为CNS软件附带效劳，不计算工作量）依照不同化效劳项目的设计目标，安装CNS软件，调试Anycast相关软件调试，配置修改 周期为5工作日，有效工作量：15人.天B、系统架构系统调试：工作量为30人.天调试两节点的Anycast架构涉及的互换机、效劳器、路由软件、脚本调试：周期为5工作日，有效
29、工作量：30人.天 C、系统上线前稳固性及压力测试：工作量为20人.天系统上线前对路由进程的稳固性及各项相关进程进行测试，并采纳人为加压方式，对新建系统进行压力测试，以保证系统上线后的正常运行：周期为10工作日，有效工作量：20人.天D、新架构体系的部署上线：工作量为4人.天在Anycast系统测试正常无误后，对两套系统别离进行割接上线：周期为4工作日，有效工作量：4人.天（3）、不同化效劳调整实施: 工作量为60人.天A、上线前流量散布分析，系统监控：工作量为14人.天对系统上线前，现有三个DNS节点的流量散布情形进行分析汇总，进一步明确分流目标。周期为7工作日，有效工作量：14人.天B、各
30、地Base修改，拨号用户用户DNS流量分离在全省Base的DNS设置进行修改，利用修改Base将拨号用户从现有DNS节点中分离，转移到新的拨号专用节点上。估量全省Base修改需要12个工作日。通知割接：（由电信安排专人通知）由电信安排专人，通知各地修改拨号用户的Base中的DNS设置。周期为7工作日，有效工作量：0人.天（由电信内部进行操作）C、上线后DNS流量散布分析，系统监控：工作量为34人.天每日分析四个DNS节点顶峰期的流量散布情形，以便了解流量各地拨号用户的去向和Base修改的成效。同时，对整个系统进行全面的监控，每日整理前一天的运行数据。以便了解DNS流量分离趋势。内容1：监测流量转变及随时调整流量，天天按时监测搜集新专线用户DNS请求数据及
