Webhostingtalk资讯网

图解大型互联网数据中心典型模型

2016-04-11 18:27
作者:admin

 数据中心本质上是数学和逻辑的组合,分析模块化数据中心的颗粒度可以归纳演绎出其典型模型,本文介绍一些大型互联网数据中心的典型案例,正是为了做此方面的分析。

大型互联网公司数据中心建筑布局

互联网数据中心

图一 谷歌数据中心俯视图

图一是谷歌数据中心的典型布局,从空中俯视看到的庞大体量和氤氲升腾的水汽,让人立马联想到现代化的超级信息处理工厂,或在海上全力巡航的超级信息航母。谷歌的数据中心建筑结构极其精简,主体机房为宽而矮的单层仓储式厂房建筑结构,船体的中后两舱为两个长宽形主体机房模块,船头为机房配套的功能区域(如安保办公、拆包卸货、备品备件间等);船体左侧为模块化变配电及柴发区域,船体右侧是模块化制冷及散热储水区域,水电分区,左右两翼像巡洋舰和护卫舰等保障航空母舰的稳定安全运行。

 

图二 谷歌数据中心平图布局图

图二为其主平面布局图。北侧为水,南侧为电,中间为机房模块,约2万平米的中间主机房区可以支持约8到10万台服务器,左右两侧为网络间以及办公支持区。白地板区域分为南北共四个大机房房间,每个房间可以支持约2万到2.5万台服务器,每个机房模块内约30纵列,每列约25到30个IT机柜,每个大房间可以部署约750到900个机柜,约1万KVA的电力,整个建筑约4万KVA总用电。

图三 facebook模块化机房俯视图

图三是facebook在瑞典的模块化数据中心效果图,该建筑也是仓储式大厂房结构,左右两栋数据中心大楼内共建设了1#-4#四个大房间的数据中心模块,两栋建筑之间有一个专用制冷机房,在建筑的两侧也部署了室外集装箱柴发。此外,在数据中心建筑隔壁,还设有一个用于办公的其它功能的建筑。

图四 facebook数据中心平面布局图

图四类似这个数据中心的平面布局(冷机和配电位置稍有变化,但主体框架模块没变),同样左右两侧共四个大机房模块,A/B区南北各两个,大房间的南北两侧为AHU模块,同样和冷热通道一一对应;两个建筑大房间之间为电力模块,以及制冷模块,同样是模块化的设计。每个AHU对应各自的一个通道,约60个机柜,平均每个IT机柜功率约为8-10KW,因此每个AHU的制冷量约为500-600KW.中间北侧为电力模块房间,四个房间共6套IT电力模块,以及1套备份模块、1套冷机等负载配单模块;中间南侧为制冷泵房,共9个制冷模块,按8用1备计算,每个房间均摊约2个制冷模块。

每个大机房房间同样可支持约2万到2.5万台规模服务器,每个房间内部署了约4*13*15个机柜,共约780个机柜,并支持扩展到900个,同样约1万KVA的电力,整个建筑约4万KVA总用电,共支持约8到10万台的服务器。

 

图五 facebook数据中心布局二

图五是facebook另外一个长条形数据中心的俯视图,该建筑从左到右共有四个大机房模块,每个机房模块有独立的4台室外型集装箱柴发,屋顶是其自然冷空调系统,紧贴数据中心建筑的上侧有办公用房。

图六 Open datacenter的模型布局

这种长条形布局下,机房内部如图六Open datacenter的数据中心机房模型,每个大机房模块共12*6*11=792个机柜,整个数据中心建筑共有12到14台柴发,两个蓄冷罐,支撑四个大机房模块使用。

图七 Switch公司的supernap 7数据中心布局

图七是Switch公司的super nap 7数据中心俯视图,类似的,整个数据中心建筑由四个大机房模块构成,每个机房模块约10MVA的供电容量,由6台(5+1)2000KW的柴发做掉电备份,9套1200KVA的UPS,三角形DR方式2N供电。同样的,每个大机房模块有44个R18的微模块构成,总计约792个IT机柜,平均单功率约为9KW;9个(8+1)AHU空调模块,每个AHU模块标称具有1000KW的散热能力。

图八 典型互联网数据中心供电架构图

从谷歌、facebook和super nap等数据中心的典型模型上看,大型互联网数据中心大多是模块化设计,基本整个园区规划有两到三栋大型数据中心建筑,总共用电80到120MVA,由132KV变电站供电。每栋数据中心建筑用电量则高达40MVA,数据中心建筑内有4个大机房模块,每个机房模块约2-2.5万台服务器,典型的单模块机柜数量为750-1000个机柜,每栋数据中心建筑约有8-10万台的服务器,总机柜数量为3000到4000个机柜。大型互联网数据中心基本多为仓储式单层建筑结构,建筑内的典型四个大机房模块有长条型并排布局,也有南北向田字型布局,模块化的电力和空调模块就近摆放。

大型互联网公司数据中心的电气

为什么大型互联网数据中心都有相似的特征,这背后有何逻辑呢?

其实数据中心的一些边界条件基本限制了数据中心的典型模型,比如一条中压外线(美国为13.2KV,欧洲中国约为10KV)的电力容量约为10MVA-12MVA,典型的变压器容量约为1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限档位,母排和断路器容典型量约1600A、2000A、3200A、4000A、50000A、6300A等有限档位,还有冷机的冷量、UPS的容量等都是类似的有限档位,因此数据中心规划设计需要兼顾到这些产业链,并满足公路运输条件,以及操作人员可以忍受的连续工作最高温度等,根据不同系统的合适颗粒度,选择最佳性价比的典型模型。

通常电力是数据中心内较为宝贵的资源,所以数据中心设计通常会把一条外线的容量尽量用满,即一个机房模块通常会用满10到12MVA的外电容量,图八是个典型的互联网公司数据中心供电架构图,单路市电供电,高压柴发备份。

图九 典型数据中心2N供电高可靠设计的模型

我们可以根据一条13.2KV外线约12MVA的容量来推算该机房模块的模型,配置了4台2500KW左右的高压柴发,4台3000KVA的变压器,额外有1台2500KW的柴发和3000KVA的变压器作为四个房间的冗余备份,刚好用满电力容量,因此数据中心大机房模块内通常也规划有4个小房间的模块。

前面是针对互联网数据中心内单路市电+柴发的供电架构,如果对于部分双路10KV外电的高可靠2N供电架构,实际上也是类似处理方法,将10MVA的外电,分摊到4个IT房间,每个房间约2个2000KVA的变压器,剩余一对2000KVA的变压器给到制冷房间用于冷机制冷等。当然也可以按三个IT房间来规划,这种布局下每个房间配置2个2500KVA的变压器,剩余一对2500KVA的变压器给到冷机和其他动力设备。

 

图十 典型数据中心2N供电高可靠设计的布局

在建筑布局上,同样采用模块化的布局,如图十的典型数据中心建筑内有左右两个大机房模块,每个大机房模块内的一对10KV外线带有四个IT房间,每个房间由一对2000KVA的变压器来承担,每个房间按IT机柜功率来部署,大约有200到250个的IT机柜(由IT机柜平均功率决定)。同样配套的模块化电力和空调就近摆放,按需建设实现变成长边投资,为未来的技术升级提供条件。

 

图十一 谷歌数据中心的模块化空调系统

综上,典型的互联网数据中心机房模块内,也同样因为电力容量限制,以及设备颗粒度的不连续性,加上产业链生态等会有最佳模型。典型的模块化数据中心由2个高压模块(或者单N的1条外线)、8到10个低压变配电模块(或者单N的4到5个低压模块)、3到4个IT房间(每个机房模块配置2500KVA或者2000KVA的变压器)的典型模型。每个模块化数据中心约750到1000个IT机柜,每个IT房间约200到250个IT机柜。动力设备方面基本多为3到4台800到1100冷吨的冷机,以及4到6台1800KW到2500KW的柴发等。

大型互联网公司数据中心空调模块

相对而言,大型互联网数据中心的制冷系统的标准化较差,这主要由不同地区的制冷方式差异导致。比如热带地区采用的集中式冷机制冷,和凉爽地区分散式AHU模块制冷就会有很大的差异。但从前面分析的数据中心模型上看,大型互联网数据中心的空调系统也呈模块化方式在建设。如图十一所示的谷歌数据中心,综前所述,一栋40MVA的数据中心建筑,由四个大机房模块构成,每个机房模块约10MVA的用电。整个数据中心建筑左侧有15套空调系统,因此每个机房模块分摊到3套空调系统,剩余3套空调给四个机房模块做冗余备份,以及其他办公和环境负荷等,每套空调系统约有1000到1200冷吨。

图十二 SuperNAP数据中心的模块化空调系统

而如图十二的Super nap数据中心则采用了模块化AHU散热方式,每个10MVA的大机房模块配置了9个AHU模块,每个AHU模块的散热能力达到了1000KW,8用1备,该AHU支持六种不同的冷却方式,并在AHU内部加装了小飞轮UPS,保障AHU模块供冷的持续性,也是非常经典的模块化空调设计实现。

前面简单介绍了两个大型互联网公司模块化空调系统的应用案例。地区不同,制冷方式不同,模块化空调系统呈现出较大的差异性,颗粒度也有较大的差异,但不管是冷机还是AHU或其它不同方式,也基本分为3到4套系统,每个系统由不同数量的更小单元末端组成(可能是模块化AHU,也可能是小风墙等)。

“大道至简,悟者天成”。大型互联网数据中心典型模型模块精简、功能分区清晰、颗粒度合理。在我们从这些先行者的实践经验中悟出真理后,剩下的就是要考虑如何去躬行。一旦做到知行合一,就没有攀不上的高峰。

网友评论
暂无评论!