第二届OCP峰会过后不到一周,2011年11月1日,百度、阿里巴巴、腾讯(合称BAT)三巨头在英特尔(Intel)的支持下发起天蝎项目(Project Scorpio)。相隔只有半年的这两个项目因诸多共性而经常被放在一起比较,不过,天蝎项目最初的构想远没有开放计算项目(Open Compute Project,OCP)那么宏大,而BAT在IT基础设施建设上的成就也不止整机柜服务器那么简单。

在具有代表性的“自主”IT基础设施建设上,BAT各有侧重,可以不太严谨的说:阿里去IOE,腾讯TMDC,百度领舞天蝎。后两个看似均在OCP覆盖范围内,其实也是三家都在做的事情。

进一步展开前,先建立一个粗略的格局对照组:

百度对Google,搜索,最先确立的一个中美对应关系;

阿里对AWS,电商和公有云;

腾讯对Facebook,社交巨头。

微软与金山并非生于互联网,微软在社交尚未败阵之时,两者完全不是一个量级。如今,至少在中国市场上,金山系的小米手机可以秒杀Windows Phone,而金山云能否追近Windows Azure(全球已更名为Microsoft Azure),还要看未来发展。

腾讯:自建数据中心与TMDC

BAT都有自建数据中心,但是美国的互联网巨头们自建数据中心更为普遍,最关键的区别就是——我们百说不厌的“国情不同”。

同样是起家于社交服务,腾讯的资历比Facebook老,投身数据中心建设的时间也更早。腾讯2008年就开始建设位于天津滨海新区的数据中心,2010年1月封顶,12月建成。Facebook的第一个数据中心2010年1月才开始建设,却几乎在同时完工,建设进度不可同日而语。

111

腾讯天津滨海数据中心外景,图中左侧建筑主体为当时尚未启用的4号楼,中间露出一角的为3号楼(来源:张广彬拍摄)

腾讯的第一代数据中心从2006年起步,在深圳宝安租的一栋厂房进行改造。2007年启动的天津滨海数据中心发展为腾讯第二代和第三代(二期)数据中心,可承载超过20万台服务器,是目前亚洲大的数据中心之一;属于二期的3号楼,供电容量60MW(30×2),号称亚洲单体供电能力强的数据中心,单机柜平均容量8KW,高可到10KW。3号楼能承载10万台服务器,差不多相当于8万个城市家庭的总用电量。

天津数据中心从开始拿地到最后交付,前后差不多用了三年时间。腾讯是第一次建设这么大规模的数据中心,有经验欠缺和天气原因(2009年年底,天津遭遇暴雪)的因素,但Facebook也是第一次,却只用了不到一年的时间。

222

腾讯天津数据中心3号楼外景和内部大堂显示的运营参数,当时投入生产只有半年多(见安全运营天数),进驻服务器较少,实时负载才1.3MW左右,PUE也接近1.5。随着服务器数量的增加,这两个参数都会向设计值靠拢(来源:2014年9月11日拍摄)

百度在山西阳泉的数据中心,建设周期为四年,一期总建筑面积达12万平方米,从2012年8月19日奠基开工,到投入使用,也经历了两年左右的时间;美国Switch公司在拉斯维加斯的SuperNAP 9数据中心,由3个分段组成,面积47.1万平方英尺(近4.4万平方米),供电能力可达50MVA,预计建设工期一年,因为赌城允许24小时施工。

上面这组数字还算是接近的。总体而言,美国互联网巨头建设数据中心的进度更快,不得不提“中国特色”。相比美国,我国的数据中心建设主要受三大因素限制:土地、空气、产业环境——简而言之,就是“环境”。

首先,美国地广人稀,可以毫无负担的采用单层仓储式大开间的设计,如Facebook的数据中心,单体一层大开间容量就可达到十万台服务器量级。与楼房相比,框架简单,强度要求不高,不用考虑楼板承重问题,建设速度快,建好后直接进驻机架、微模块、集装箱无压力,部署速度也快。

333

2013年8月底,夕阳下的Altoona数据中心建设工地,可以清晰的看到两层阁楼式结构,只在地面层放置服务器。占地约194英亩(78.5万平方米),到2013年11月中旬,每天有超过200人工作,累计工时近10万小时(来源:Facebook官网)

其次,空气质量好,可以直接采用外部空气冷却(自然风冷),像Facebook就是顶棚进风和出风,外部空气进入后与适当比例的热通道(hot aisle)回风混合(必要时喷水雾),送入服务器机架前端所在的数据中心冷通道(cold aisle)。100%自然空气冷却,没有空调水冷那么复杂的管线,也降低了对数据中心建筑的要求,同时提高能效和建设速度,可谓一举两得。

最后,美国的运营商数量众多,互联网巨头在网络建设上有很大的自主权,Google甚至在多地推出了光纤接入服务。因此,在偏远地区建设数据中心,网络接入不会成为制约因素。

反观中国,由于全国网络建设的不均衡,BAT等互联网巨头,建设数据中心要首选靠近用户的地方,通常在人口密集的一二线城市附近(如百度M1数据中心在北京市酒仙桥区域),楼房必须是常态,不敢奢望单层仓储式大开间。即使是在相对偏远的地区,如融科智地建于大庆市东部的大庆联想科技城云计算数据中心,也因为政府对建设用地容积率的规定,必须建成三层楼房。受限于地块容积率、建筑覆盖率等硬性条件,盖两层、三层,甚至五层楼的结构,会带来很多制约。譬如,集装箱在美国单层仓库式数据中心可以很方便地进出,而在中国却上不了楼。

444

555

666

GDS位于外高桥科技园区的上海自贸区数据中心,阿里与百度均为其客户。多层建筑,以及由此而来的层高、立柱等限制,都是在前几章Google和Facebook的数据中心照片里很难体会到的(来源:GDS官网)

另一个有目共睹的问题就是空气质量,特别是京津地区,近几年的状况堪忧。腾讯在天津数据中心部分尝试过空气自然冷却,但是空气中的含硫量过高,腐蚀了许多硬盘的电路板,导致硬盘故障率上升很快,脱硫方案成本又非常高,后来只能关闭自然冷却,改回内部循环。因此,空调和水循环冷却系统仍不可少。典型的做法是一层接市电、装柴油发电机,以及制冷设备和复杂的水循环管路,二、三层布置服务器机架等IT设备及电、冷支持系统(如腾讯天津数据中心3号楼)。这样的话,基建工作复杂、要求高,IT系统的部署则受限于电梯等中间环节,总体周期长,PUE(Power Usage Effectiveness,电源使用效率)也无法与Facebook相比。

777

浪潮为新风制冷数据中心设计的SmartRack高温耐腐蚀节点,主板、硬盘、内存、电源等部分都有涂覆,可在45度的高温环境中正常运行(来源:2015年2月拍摄)

考虑到中国数据中心市场的现状,BAT在加大自建数据中心力度的同时,仍与运营商或第三方数据中心服务提供商保持紧密的合作。百度有阳泉,阿里建张北,两者还在上海使用万国数据(GDS)的数据中心,阿里云与华通云数据(华数)的合作也由来已久。据说腾讯的服务器分布在全国13个城市的58个数据中心(这个数字应该在变化),可以确定的是,腾讯在天津、上海、深圳都有大型数据中心,天津滨海为自建,深圳坪山为联通按照腾讯的(数据中心及微模块相关)技术标准和规范建造,上海青浦则是腾讯与电信合建,建筑面积近5.8万平方米,由4栋数据中心楼、1栋业务楼和1座35KV变电站等主要建筑组成,全部建成后可容纳10万台服务器。

2015年6月,腾讯在重庆两江新区的数据中心正式开工建设。该项目于2013年年底签约,预计总投资金额为10亿美元,占地面积150亩(10万平方米),首期建成规模为10万台服务器,最终将建设为30万台服务器规模的大型云计算数据中心。重庆数据中心是腾讯在中西部地区建设的首个大型数据中心,也是其全国第四个大型云计算数据中心。这些数据中心都位于人口密集的一二线城市附近,好处是明显的,建设上不利的外部条件也难以规避,特别是除天津外,均处在炎热潮湿的南方,对数据中心的散热提出了很大的挑战。

(原文标题:BAT的故事(1):从腾讯数据中心建设看中美差异,未完待续)

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2024-01-09 16:53:00
市场情报 中兴通讯分布式存储+ DPU,加速数据中心转型
存储技术在不断地创新、完善、加速演进,以更好地满足业务的存储需求,但同时也使得存储协议和文件系统越来越繁重。 <详情>
2023-11-17 10:35:56