数据中心白皮书（2018年）

中国信息通信研究院&开放数据中心委员会

(二)我国数据中心产业热点分析 1．我国数据中心利用率和能效水平不断提高 东部一线城市数据中心较饱和，中西部地区利用率不断提高。截 至2017年底，我国超大型数据中心上架率34.4%，大型数据中心上 架率54.87%，与2016年比均提高5%左右，除北上广深等一线城市 河南、浙江、江西、四川、天津等地区上架率提升到60%以上，西部 地区多个省份上架率由15%提升到30%以上。全国数据中心总体平 均上架率为52.84%，总体供需平衡，但与发达地区数据中心成熟市 场仍有一定差距，数据中心利用率仍可进一步提高。 我国数据中心能效水平总体提升，优秀绿色数据中心案例不断涌 现。截至2017年底，受上架率影响，全国在用超大型数据中心平均 运行PUE1.63；大型数据中心平均1.54，最优水平达到1.2左右。2017

上海标准规范范本二）我国数据中心产业热点分析

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

年在建超大型、大型数据中心平均设计PUE分别为1.41、1.48，预计 未来儿年仍将进一步降低。从绿色技术来看，国内数据中心不断创新 绿色节能新应用，多个数据中心获得TGG（绿色网格）与开放数据 中心委员会联合认证的5A级绿色数据中心。如2015年，百度云 算（阳泉）中心采用整机柜服务器、高压直流+市电直供、机器学习 控制系统、高温服务器等技术，实现年均PUE1.23；2016年，阿里巴 巴千岛湖数据中心采用湖水自然冷却系统、太阳能电池板、高压直流等技 术，达到年均设计PUE1.28；2017年，腾讯青浦三联供数据中心采用天然 气三联供、离心变频冷机、磁悬浮冷机等技术，实现年均PUE1.31；2018 年，阿里巴巴/张北云联数据中心采用无架空地板弥散送风、全自动化BA 系统实现自然冷源最大化等技术，实现年均PUE1.23 2．我国数据中心总体布局逐步优化 我国数据中心总体布局逐步优化。自2013年五部委联合发布《关 于数据中心建设布局的指导意见》（以下简称《指导意见》），2018年 工信部印发《全国数据中心应用发展指引》（2017）以来，我国数据 中心布局渐趋完善，新建数据中心，尤其是大型、超大型数据中心逐 渐向西部以及北上广深周边地区转移。西部地区数据中心占比逐步提 升，截至2017年底，西部地区在用数据中心机架数全国占比由2016 年的20%提高到22%。伴随周边地区数据中心的快速发展，一线城 市数据中心紧张问题逐步缓解，如随着张北、廊坊、乌兰察布等周边 地区大量新建数据中心的落地投产，承接部分大型互联网公司的应用

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

随看我国互联网、云计算技术与应用的快速发展，国际巨头云计 算公司纷纷加快在中国市场的布局。2013年6月，微软通过与世纪 互联蓝云合作，成为首家入华的国际公有云服务商。2014年，世纪 互联与IBM联合宣布基于IBM全球统一标准的企业级云平台Cloud ManagedServices云管理服务正式上线。2016年，全球云计算龙头亚 马逊AWS同光环新网合作正式落地中国。2016年，甲骨文宣布与腾 讯云合作共同为中国企业提供云计算服务。2017年12月，亚马逊与 西云数据合作运营的AWS中国（宁夏）数据中心成为AWS在中国 的第二个可用区域。国外龙头企业通过合作运营模式进入中国，进 步加剧国内市场竞争。国际云计算企业纷纷在华落地迫使阿里云宣布 全线产品进行降价，部分产品降价50%，

数据中心白皮书（2018年）

三、数据中心技术发展特点

中国信息通信研究院&开放数据中心委员会

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

功耗也逐代翻倍，最新一代TPU3.0服务器已必须使用液冷方案来降 温。液冷模式通过液体直接导向热源带走热量，不需要像风冷一样间 妾通过空气循环降温，散热效率更高、更节能、运行噪音更小。 液冷应用逐渐由超算中心向各行业数据中心渗透。高性能计算 HPC是当前液冷方案应用最多的领域，目前液冷主要有冷板、浸没 喷淋三种部署方式，冷板式部署介质无需直接接触发热器件，对原有 IT基础设施的要求和改造最小，应用进展较快，如德国莱布尼茨计 算中心和我国曾两度获得ISC国际超算大会TOP500冠军的神威太 湖之光”均采用冷板式液冷；浸没式液冷让发热器件直接与液体接触 热效率最高，同时技术难度也最大，当前美国德州TACC、日本东 京工业大学超算中心采用浸没式液冷技术；喷淋式还处于发展初期 技术突破阶段，尚未出现大规模的部署案例。除了用于国家超算中心 外，液冷也逐渐出现了商用案例，如位于中科院大气物理研究所的地 球数值模拟装置原型系统和位于国家电网电力科学研究院仿真中心 的超级计算系统，都采用了曙光集团的液冷服务器。液冷的市场化程 止逐步加强，应用方案也逐渐渗透到互联网、金融、教育、影视等 须域，应用场景和环境越来越丰富，如目前已有互联网公司小规模的 部署应用浸没式液冷方案，预计2018年底会正式上线

(二)模块化数据中心成为数据中心建设新模式

模块数据中心进入大批量投产应用阶段。2012年，我国互联网 公司国际首创的微模块数据中心，将数据中心的建设由“工地”迁移到

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

数据中心白皮书（2018年）

中国信息通信研究院&开放数据中心委员会

件的基础上进行关键部件的自主研发和深度定制，将成为运营商新的 运营模式。

件的基础上进行关键部件的自主研发和深度定制，将成为运营商新的 运营模式。 四）更高的性能和速度成为数据中心IT设备技术发展趋势 GPU服务器突破了CPU服务器的效率瓶颈，计算速度大幅提升 人工智能的发展让数据中心面临更大的计算难题，尤其是深度学习， 图片编解码和视频煊染等应用需求的出现，让传统的CPU服务器陷 入计算瓶颈，逐渐暴露出被cache占据大量空间、计算工作占比低 控制逻辑复杂等不足。与CPU需要较强通用性来处理各种数据类型 所不同，GPU拥有数量众多的计算单元、超长的流水线和简单的控 制逻辑，具备高效的图形处理能力和计算能力，更适应类型高度统一、 相互无依赖的大规模数据和不需要被打断的纯净的计算环境，可应对 人工智能在训练和推理过程中对计算性能、能耗、吞吐和延迟等方面 的更高要求，成为了数据中心应对人工智能应用场景的重要基础设施 人工智能应用的爆发式增长，引发GPU服务器市场的快速扩张。 匠年来各行各业落地的人工智能应用层出不穷，GPU服务器因其高 并行计算性能和成熟的软件生态优势，成为现阶段人工智能领域应用 最厂泛的加速计算解决方案，市场呈现高速发展态势。据IDC统计， 2017年中国GPU加速计算服务器市场规模为5.65亿美元，同比增长 230.7%。预计2017到2022年间，市场销售额年复合增长率为43% 也吸引了众多厂商加入到这场市场角逐中。 周态硬舟的出现改恋了机械硬舟独上整头的市场格局一确盘作为

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

主要的存储设备，随着计算机的进步而飞速发展，目前市场上的主流 便盘大致分为机械硬盘（HDD，传统硬盘）和固态硬盘（SSD盘： 新式硬盘）两种，SSD主要依靠FLASH闪存芯片或DRAM两种不 同的存储介质读写数据，而HDD则使用高速转动的盘片和磁头来回 寻道读写数据。进入2010年后，SSD凭借快速读写的优势逐渐占领 市场，据统计，近几年来HDD的销量以5%一10%的速度逐年降低 反之SSD年出货量增幅稳定在30%左右并仍有上升之势。按照目前 的市场发展和应用情况，SSD有望取代HDD占领数据中心硬盘市场 闪存技术进步助力固态硬盘突破容量限制，有望推动成本下调 随着视频、电商、网络游戏、SNS等互联网应用的推动，以及移动互 联网和智能终端设备的普及，数据中心在短时间内需要处理和存储的 数据体量从TB向PB、EB发展，对存储设备的读写技术提出了更高 要求，固态硬盘在缓解该问题的同时也面临着容量增长限制。伴随 3DNAND闪存颗粒的诞生，主要依靠闪存颗粒进行存储的SSD彻底 解决了因制程极限而无法提高单位存储容量的问题，固态硬盘的成本 有望因技术突破而下调。目前来看，市场售价偏高和安全性较低的现 实困境仍然存在，固态硬盘的持续发展仍需要通过闪存技术的进一步 革新来推动。 (五）大规模、高流量加速数据中心网络设备与技术演进 数据中心建设规模、承载业务以及存储与计算等技术变化不断影

数据中心建设规模、承载业务以及存储与计算等技术变化不断影 响数据中心网络技术的演化。随着新建、改造数据中心规模不断扩大，

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

网络设备数量大幅增加，网络建设成本高、运维管理负担重等问题凸 显，促使SDN、白盒交换机等技术的研究进展加快。同时，数据中 心承载业务的不断变化，以及计算虚拟化、存储虚拟化等技术的应用 使得数据中心东西流量高速增长，对数据中心内部网络管理和性能提 出了更高要求。而无损网络、光模块等技术则可以帮助更好地实现数 据中心内部快速、高效的数据传输。 白盒交换机推动数据中心网络开源开放。区别于传统交换机软硬 件捆绑销售，白盒交换机通过软硬件解耦的方式，实现降低成本、提 高灵活性、简化运维等目标。通用而低价的硬件设备，消除用户对特 定厂商的依赖，降低网络建设成本。同时，用户通过自研或选购软件 进一步增强网络灵活性、可编程性，促进网络自动化，减轻运维负担 然而，目前白盒交换机在操作系统、软件等方面仍存在较大挑战。 方面，单一用户受限于网络规模、投入力度等因素，难以独立承受自 有交换机操作系统长期的研发成本投入；另一方面，开源交换机操作 系统也面临着社区长期运作能力、软件架构设计、操作系统兼容性 功能可扩展性等方面的挑战。目前BAT等大型互联网公司开始研究 探索白盒交换机设备以及操作系统的研发和应用，通过“凤凰项目 开放网络硬件和软件，推进数据中心网络资源灵活调度和高效管理 新型业务场景驱动网络技未创新，无损网络成为技未新热点。大 型在线数据密集（OLDI）服务、高性能深度学习网络、NVMe（非 易失性内存主机控制器接口规范）高速存储业务等场景的大量应用 使得数据中心面临内部流量激增、网络阻塞、高延时等问题。无损网

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

一)政策引导数据中心布局不断

我国数据中心产业政策环境分

《关于数据中心建设布局的指导意见》为数据中心产业布局指明

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

我国数据中心建设区域划分为四类地区，鼓励新建大型、超大型数据 中心，特别是以灾备等实时性要求不高的应用为主的数据中心，重点 考虑气候环境、能源供给等要素进行选址布局，优先在能源充足、气 医适宜的一二类地区建设。在政策指引下，贵州、内蒙、宁夏等能源 充足、气候适宜地区积极开展数据中心布局引导，有力促进了我国数 据中心产业整体布局优化，缓解了东部地区数据中心供给不足、资源 紧张等问题。 《全国数据中心应用发展指引》引导数据中心供需对接。为了引 导各区域数据中心统筹协调、提升应用水平，指引用户从全国数据中 心资源中合理选择，工业和信息化部通信发展司编制出版了《全国数 居中心应用发展指引（2017）》，首次公布了全国数据中心的总体情况 计对六大区域（北京及周边地区、上海及周边地区、广州、深圳及周 边地区、中部地区、西部地区、东北地区）进行了详细的建设应用统 计分析，并提出了各区域数据中心布局引导方向和用户选择数据中心 的方法指引，供各区域开展数据中心建设规划、用户科学合理选择数 据中心作参考，预计将每年持续更新。

国家层面开展新型工业化产业示范基地（数据中心）评选。2017 年，工信部印发《关于组织申报2017年度国家新型工业化产业示范 基地的通知》，首次将数据中心、云计算、大数据等新兴产业纳入国 家新型工业化产业示范基地创建的范畴，并提出优先支持，旨在评选

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

出在节能环保、安全可靠、服务能力、应用水平等方面具有示范作用、 走在全国前列的大型、超大型数据中心集聚区，以及达到较高标准的 中小型数据中心，发挥产业引领作用。经过材料审核、专家评审、征 求意见等环节，河北张北云计算产业基地、江苏南通国际数据中心产 业园、贵州贵安综合保税区（贵安电子信息产业园）三个数据中心园 区通过评审，具体如表1。通过示范基地评选，带动了河北、贵州等 地数据中心聚集区的产业发展和技术进步，进一步促进了当地经济发 展。

(三) IDC 业务管理政策逐步完善 我国优化IDC业务事前准入流程，落实“先照后证”改革。2012 手底，工业和信息化部发布《关于进一步规范因特网数据中心业务和 因特网接入服务业务市场准入工作的通告》，进一步完善了IDC业务 准入要求。2017年工业和信息化部公布了修订后的《电信业务经营

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

许可管理办法》，取消了甲请经营许可时提交企业名称预核准通知书 的要求，删除了电信业务经营许可证作为工商变更登记前置程序的规 定。监管政策降低了IDC市场准入门槛，促进IDC市场健康快速发 展。 我国推进“放管服”改革，完善IDC事中事后管理体系。建立IDC 信息化管理平台，推进IDC经营许可证的网上申请、审批、管理及 相关信息公示、查询、共享。建立信用管理制度，设立经营不良名单 和失信名单，对列入经营不良名单和失信名单的IDC企业重点监管 建立年报制度，将经营许可证年检制度调整为信息年报和公示制度 建立随机抽查机制，对年报信息、日常经营活动、执行电信管理机构 有关规定的情况等进行检查。2017年工信部发布《工业和信息化部 关于清理规范互联网网络接入服务市场的通知》，依法查处IDC业务 市场存在的无证经营、超范围经营、“层层转租”、违规接入等违法行 为，加强经营许可和接入资源的管理，强化网络信息安全管理。构建 权责明确、透明高效的IDC事中事后监管机制，有利于维护公平竞 争的市场秩序，有利于进一步优化IDC企业经营环境，使市场机制 的作用得到充分发挥 (四)绿色节能仍是地方数据中心政策的主要抓手 各地积极出台数据中心节能减排鼓励政策，促进数据中心绿色化 发展。近年来，北京市积极制定地方节能标准，发布了《数据中心能 效分级》、《软件和信息服务业节能评估规范》、《数据中心节能设计规

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

数据中心白皮书（2018年）

中国信息通信研究院&开放数据中心委员会

预测我国IDC市场未来三年仍将处于快速发展期，按照未来三年收 入增长势头平滑测算，预计到2020年我国IDC市场业务总收入可达 1500亿元。

数据来源：中国信息通信研究院

2．龙头企业加快全球布局，企业竞争力不断增强

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

数据中心区域布局将呈现三级层次化结构。未来数据中心将根据 不同业务属性选择适宜的区域布局，冷数据备份、离线计算分析以及 其他对网络时延要求较低的应用将优先选择能源充足、气候适宜地区 的数据中心，降低建设运行成本。面向区域、对时延敏感、以实时应 用为主的业务将选择在用户聚集地区依市场需求灵活部署数据中心

中国信息通信研究院&开放数据中心委员会

缴据中心白皮书（2018年）

对于虚拟/增强现实、车联网等对时延极为敏感的业务，需要最大限 贴近用户分布式部署微型数据中心，直达居民区、企业办公场所等 区域，满足用户极致体验要求。三层数据中心在整体网络架构下，统 管理、动态调度、协调配合，更好地支撑上层业务应用

5．数据中心朝着智能化的方向发展

5．数据中心朝着智能化的方向发展

7我国数据中心未来布局趋势图

DCIM（数据中心基础设施监控管理）等数据中心智能化管理平 台正在加速部署应用。随看数据量的高速增长，新建数据中心大多以 大规模、超大规模为主，大量的设备和复杂的系统为高效管理带来了 挑战。智能化的数据中心基础设施管理通过对IT设备和数据中心风 火水电基础设施的在线监控、管理，节省大量维护时间和费用，让企 业更加专注于上层业务。在人工智能、云计算的快速发展下，部分管 理平台如DMaaS，将基础设施管理与IT设备管理集成，运用大数据

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

分析和机器学习等算法可实现有效预测和防止数据中心基础设施发 生的事件和故障，缓解数据中心效率低下和容量不足问题，提高数据 中心运营效率。智能能耗管理系统采集数据中心各设备的用电参数 精确分析数据中心的能耗水平（PUE）、能耗分布及构成，实现主动 式分析与预警、精细化监测与管理、合理化规划与决策，为管理者能 耗优化提供有力依据。如通过监测分析精确定位数据中心局部“热点 采取整体或局部优化措施，实现精确制冷，并减少安全隐患， 智能运维机器人或将替代大量传统人工巡检。随着数据中心单体 规模不断攀升，越来越多的基础设施设备需要日常维护和管理，传统 做法是人工定期巡视，对于关键设备需有专人24小时值班巡检。人 工投入大、成本高、效率低、可靠性差是众多数据中心面临的共同问 题。智能运维机器人能24小时不间断地在数据中心巡逻，收集环境 数据的同时，还能实时读取主要设备的异常情况并自动报警，大大提 升巡逻的可靠性和规范性，降低劳动强度、提高运营效率、降低运行 维护成本。未来通过优化智能运维机器人智能巡检、深度学习的能力 将逐步实现以智能机器人辅助人工巡检甚至替代人工巡检，形成“智 能化管理平台+智能机器人+专业工程师的三道运维安全防线，

建议继续优化IDC业务准入程序和事中事后监管体系，加强IDC 项目节能审查和能耗监测评估，提升产业发展质量。借助“企业上云”

中国信息通信研究院&开放数据中心委员会

轻工业标准缴据中心白皮书（2018年）

数据中心自皮书（2018年）

中国信息通信研究院&开放数据中心委员会

同时，推动老旧数据中心改造和整合，适度引导集约化数据中心建设。 4.分区分类引导数据中心合理布局 依托工信部发布的《全国数据中心应用发展指引》，每年更新全 国数据中心的总体情况和分区域情况，各区域可根据供需情况，统筹 布局应用需求的转移和承接，用户可根据需求科学合理选择数据中心 加强一线城市周边及西部基础设施建设和应用引导，优化国内网络结 构和布局，加强数据中心网络互连建设，推动西部数据中心聚集区升 级建设为互联网骨干节点，引导数据中心全国范围内合理布局。建议 构建数据中心布局统筹管理机制，加强中央与地方、政府与企业之间 在数据中心布局方面的沟通与协调，引导数据中心服务商进行科学的 数据中心选址规划 5.加强数据中心关键技术研发和人才培养 加快模块化数据中心技术研发应用，实现数据中心业务快速灵活 部署。推进数据中心新型服务器、存储、网络设备与技术的研发和产 业化，适应新型定制化业务需求，加快整机柜服务器、OTI、闪存、 GPU服务器等技术发展。支持大规模分布式计算、海量数据分布式 存储和管理等技术研发，推动传统数据中心云化转型。加快推进智能 运维、智能管理等技术研发，提开数据中心智能化水平，降低运营成 本。加大高校定向人才培养，增强国际技术交流，提高国内数据中心 运维管理能力。借助第三方行业组织和机构，开展人才培训，提高数

中国信息通信研究院&开放数据中心委员会

据中心技术和运维人员总体水平。

防水标准规范范本缴据中心白皮书（2018年）