文章目录
服务器互联网前五意味着什么?
快手为何要自建数据中心?
快手自建数据中心有何不同思路?
总结:
6 月 6 日,快手宣布在内蒙古乌兰察布市投资百亿自建数据中心,这是快手首个自建的数据中心,面向快手未来五年内的大数据与人工智能场景,设计容量为 30 万台服务器,将拥有最大规模的离线计算服务器集群,是业界最大的专用于大数据/AI的数据中心。
乌兰察布是内蒙古距离北京最近的地方,从北京驾车一路向西北,出了张家口就是内蒙古乌兰察布。得天独厚的地缘位置,便捷的高速与高铁网络,凉爽舒适的气候,资源丰富的电力、便捷的光缆通道、全国最优惠的电价,再加上当地政府前瞻的“草原云谷”战略规划,使得乌兰察布成为我国重要的数据中心聚集地。
在快手前,华为、阿里和苹果等公司的 11 个数据中心项目已在乌兰察布落地,总投资规模达到 357 亿元,服务器规模 150 万台,“南贵(阳)北乌(兰察布)”的数据中心格局已经形成。快手百亿投资数据中心,将进一步促进乌兰察布大数据产业发展,给当地在GDP、招商、就业、城市建设规划与税收上带来直接好处。作为视频与AI头部企业,快手在乌兰察布的数据中心也将专用于大数据与AI,因此将给当地大数据产业带来更多想象空间。
乌兰察布距离快手北京海淀总部 330 公里,车程 4 小时左右,如今乌兰察布已实现高铁进京,快手总部的技术人员只需 10 分钟即可到达清河高铁站,再乘坐 100 分钟高铁到达乌兰察布,参与到数据中心的建设与运维中。
投资乌兰察布数据中心,快手服务器规模一下跃升到全国互联网行业前五,目前阿里与腾讯的数据中心服务器规模在百万级,属于第一梯队;百度、字节跳动、快手与京东则属于第二梯队,拥有几十万台服务器。跟BAT等互联网巨头的数据中心不同,快手乌兰察布数据中心是国内互联网行业第一个自主研发并独立完成整体概念设计的数据中心,快手将择机开源其概念设计方案,助力国家“新基建”战略——数据中心/云计算是新基建七大领域之一。
那么,快手投资百亿自主研发与建设数据中心是出于什么考量?快手服务器规模跃升互联网行业前五意味着什么?结合对快手IDC技术负责人张子坚的采访,罗超频道视图找到答案。
服务器互联网前五意味着什么?
互联网是实体世界的“比特化”,数据中心负责生产与存储“比特”。不论是外卖、电商、视频、直播还是搜索,一切跟互联网有关的应用背后,都有数据中心在发挥基础作用。服务器在数据中心日夜不眠地响应需求、运行代码、运算数据、得出结果,这些结果通过有线光缆与无线信号传输到用户设备,最终被展示为用户在互联网上所看到的一切。
数据中心就是互联网业务的基础设施。 2015 年,谷歌公布过一组图片引发外界震撼,当时它已拥有以太级别的数据,遍布全球的 36 个数据中心:美国 19 个、欧洲 12 个、俄罗斯 1 个、南美 1 个和亚洲 3 个(北京-Google.cn、香港-Google.com.hk和东京各 1 个),驱动着这个全球最大的搜索引擎,谷歌将数据中心称为“互联网实体”,即唯一能够让你“肉眼可见的互联网”。
互联网公司的数据中心规模与业务规模成正比。阿里腾讯拥有百万级服务器的数据中心位居第一梯队,这与其在互联网行业的体量成正比。快手服务器互联网行业TOP5 是其跻身巨头行列的侧影。
一方面是用户规模。易观数据显示,今年 4 月抖音与快手活跃人数分别达到5. 85 和4. 87 亿,环比增长率分别为3.8%和3.6%。4. 87 亿活跃用户在互联网行业属于巨头级水平。同时,快手的营收水平也已达到巨头水平,有媒体报道,快手 2019 年总收入 500 亿元,其中直播收入接近 300 亿元。
另一方面是业务广度。
快手不再只是一家短视频公司。与快手并列服务器规模TOP5 的巨头,阿里、腾讯、百度、字节跳动业务都相对庞杂,快手聚焦短视频业务,向产业渗透实现“快手+”。
QuestMobile数据显示,今年 2 月快手上看直播的用户量占日活用户的比例达到50%,大力发展直播业务的抖音的这一比例只有28%,快手事实上已是最大的直播公司。直播+短视频电商的成功让快手成为电商行业的鲶鱼,最新数据显示快手电商日活已突破 1 亿,今年 618 与京东战略合作、推出首个“快手 616 品质购物节”,成为 618 舞台中央的玩家。就在最近,周杰伦在快手开通个人首个中文社交媒体账号,快手拿下了周杰伦音乐的短视频版权,展现出对文娱产业的野心。
直播、电商、文娱,不足以涵盖快手的产业数字化野心。疫情期线下商业活动受阻,家电、汽车、旅游、服装、家居、珠宝、KTV,各行各业在快手在线营业,快手正在抓住机遇支持各行各业线上化、在快手产业化发展。快手正在构建的“数字世界”承载着包罗万象的人间烟火,一定要有足够大的数据中心来支撑。
快手为何要自建数据中心?
大多数公司包括总是跟快手被同时提及的字节跳动均采取租赁模式,只有BAT等少数巨头才会自建。快手在国内短视频行业第一个自建数据中心,最直接的原因,是因为业务增长太快,采取传统的租赁模式已很难满足业务所需。
一年前的618,快手提出著名的K3 计划:“ 2019 年 6 月 18 日起,守护未来的战斗模式开启。战斗的第一个目标: 2020 年春节之前, 3 亿DAU。”今年初快手日活突破 3 亿。此前快手已经历长期的高速增长, 2018 年快手就用不到半年时间实现 6000 万日活增长, 2019 年用 5 个月时间实现 4000 万日活增长,DAU超过 2 亿。 2020 年疫情让短视频、直播、电商等在线业务均受益, 3 亿DAU后,快手用户大盘依然在高速增长,易观数据显示,今年 4 月快手活跃用户增长3.6%, 618 前夕快手组织变阵、牵手京东、签约周董,表明后疫情时代,快手依然在高速增长。
2019 年 4 月入职快手担任快手数据中心技术负责人的张子坚曾先后在百度、美团等公司任职,是中国第一代“现代IDC”架构师, 2007 年到 2015 年初在百度负责自建IDC相关工作,作为技术团队主要负责人参与了百度截至 2015 年所有自建IDC工作,包括容纳 15 万台服务器、当时亚洲最大、采取自建模式的阳泉数据中心。
加入快手后,张子坚负责快手“IDC、网络、服务器”等数据中心基础设施业务的技术管理工作。 2019 年到现在是快手极速狂飙的阶段,直播与电商大获成功、成为 2020 年春晚独家互动合作伙伴、DAU先后翻过 2 亿与 3 亿大关、营收从 300 亿攀升到 500 亿、跻身互联网巨头TOP5。
张子坚在基础设施这一层见证了快手业务的高速增长,在他看来“数据中心的发展是业务发展的映射”,BAT是伴随跟互联网用户大盘的增长而增长的,增长曲线相对平缓,如今快手面临的互联网市场更加成熟,快手作为新一代互联网公司,“从第十跃升到第五名,发展速度跟老一代互联网公司比是不一样的。”快手与字节跳动这两家新锐巨头的用户增长曲线,均比BAT陡峭得多。
去年 9 月有媒体透露,快手服务器数量突破 10 万。今年春节快手拿下央视春晚,直播累计观看人次7. 8 亿,最高同时在线人数 2524 万,“视频+点赞”在直播期间一共有 639 亿次红包互动,再破记录。相对于传统口令、摇一摇红包互动而言,视频互动面临的流量压力更大,快手最终以“不宕机”的结果应对了春晚流量洪峰。春节后疫情期间快手业务继续高速增长,服务器跟着不断扩容。
在加速各行各业数字化的战略下,快手的加速度增长会继续,在业务“倒逼”下扩容服务器已经越来越难以奏效,正是因为此快手有了新的想法:站在未来看现在。
张子坚介绍称,新一代互联网公司增长速度更快,但同时互联网成熟后未来业务需求更加明确,因此互联网企业不能再用老的眼光去布局数据中心,即有了需求再扩容数据中心,这样做就会有“小而多”的数据中心,数据中心碎片化,调整与扩容会很困难,且运营成本高,难以满足长远发展。因此快手“站在未来去看现在”,面向未来三五年布局数据中心,乌兰察布数据中心就是这一思维下的抉择,且未来快手会继续在华北、华东、华南规划建设超大规模数据中心,满足中长期发展需求,成为新基建的主力军。
不只是快手,建设超大规模数据中心已成为BAT等巨头的共同选择。不过,虽然方向一样,但路线却不同。
快手自建数据中心有何不同思路?
首先是自建还要自研。
自建比较容易理解,采取租赁模式本质是用社会化供应,但社会化的基础设施往往是滞后的。张子坚介绍称,如今快手的体量大了,社会供应能力已经跟不上,“某一年你有一个非常大的需求时,你需要数据中心的资源保障供应,如果社会资源在那个时候没有办法来供应给快手,它就会阻碍业务的发展。”正是因为此,互联网企业成为巨头后基本都会自建数据中心。
快手更进一步,不只是自建,而且自研,乌兰察布数据中心是国内互联网行业第一个自主研发并独立完成整体概念设计的数据中心。这是快手的第一个自建数据中心,不用成熟方案自主研发是一种冒险。快手如此抉择的原因在于:
1、快手第一个数据中心从 0 到1,没有包袱,前人踩过的坑则可以成为借鉴;
2、自研可以突破边界,实现更极致的效率,快手乌兰察布数据中心做到了建筑使用效率的最大化;电力资源利用的最大化,能耗指标PUE达到国际顶尖水平,预期最佳PUE1.08、平均PUE1.15,每年节电 5 亿度,相当于种植 180 万棵树;规模应用新一代高压直流技术,较业内方案降低10%建设成本;规模应用新一代间接蒸发冷却系统,较业内方案节水60%。正是因为此,快手才敢说乌兰察布数据中心“达到国际一流水平”。
其次是对存储的“贪婪”。
乌兰察布数据中心主要有两个用途,一个是大数据,一个是AI,在存储上,将支持60EB以上的总存储容量,相当于超过 300 万个国家图书馆信息存储量。为什么会规划如此大的存储空间?
《数字化生存》作者尼葛洛庞帝曾将世界一分为二:比特世界和原子世界,数字化的过程实际就是原子比特化的过程,他认为科技产业的一个重要趋势,就是比特跟原子的结合。快手让各行各业在线化,在快手产业化发展,在推动的事情本质是让原子世界“比特化”,这一点与其使命吻合:一个记录和分享生活的社区,在快手每一个人都有机会被世界看到,也能看到更广阔的世界,快手不刻意塑造大V,强调零运营,均体现出其在实打实地“映射真实世界”。
快手映射真实世界形成的“数字世界”正是由海量大数据构成。截至目前,快手已积累 200 亿条短视频库存,每天仍有超过 1500 万条视频新增,每天有千亿条视频曝光, 200 亿次视频播放。在短视频外,快手上还有直播、图片、文字、商品等等内容,未来可能会增加更多内容形态,这些数据,需要庞大的存储空间。
2019 年,快手管理的数据量已达到EB级别,当时市面上的通用存储服务器无法满足海量视频文件存储需求,快手找到Intel来解决存储和管理大规模视频文件的问题。针对海量视频文件的存储需求,快手有包括磁带、磁盘构建的冷存储系统,由NAND和3D Xpoint加上QLC构建的温存储,由英特尔傲腾持久内存和DRAM内存构建的热存储,三种热度的存储设备构成了完整的存储池,在满足业务的前提下,实现性能和成本上的平衡。
5G带来了低延时、高带宽的网络基础设施,视频与直播成为最受益的产业,数字内容高清化、实时化成为趋势,短视频平台的数据量会进一步爆发,我想这是快手站在未来看现在的一个考量。快手的数据会进一步“膨胀”,对数据中心的需求会日益增长,要求则会越来越高。
可以说,将构建数字世界,映射物理世界,存储真实世界作为愿景的快手,重视数据中心的大数据能力,对存储空间十分贪婪,是一种必然。
最后是将AI放在首位。
快手乌兰察布数据中心是国内最大的专门针对大数据与AI的数据中心,未来五年也会专注于此,大数据与AI外的计算需求会让别的数据中心承担。专门针对大数据与AI投资百亿的重要原因是快手是一家AI公司。虽然很多人说到快手会想到短视频、直播、老铁、社区,但实际上,AI已经渗透到这家公司业务的毛细血管里。
在内容创作环节,快手的理念是让每个人都能成为自己生活的导演、用手机去记录生活并生成相对较高质量的视频。要做到这一点,离不开AI。AR拍摄、“快手时光机”魔法表情等创新应用基于AI实现。快手用户视频上传后、发布前,会被机器视觉算法检测,如果有问题比如脏镜头导致视频画面模糊、光线问题导致画面昏暗或者偏色,则会被用算法矫正,这背后是人体姿态估计、手势识别、背景分割等多种AI技术的应用。此外,快手基于AI实现智能字幕、智能配乐、AI生成音乐等功能。内容创作的AI应用一部分要在用户手机端完成,快手自研YCNN深度推理学习引擎,解决了AI技术运行受限于用户设备性能的问题,另一部分则由云端数据中心负责提供算力。
在内容推荐上,快手内部有一个“基尼系数”指标,本来是经济学上关于贫富差距的名词,快手用来做内容分发,确保每个人都有平等的被世界看到的机会。要实现这一点要对海量视频数据进行大量的训练,同时对用户行为等数据进行画像,再加以匹配。相对于图文信息流而言,理解视频对技术要求更高,这中间不只是要应用知识图谱等技术,同时高度依赖机器视觉等技术。快手的界面十分简洁,用户却能源源不断地获取感兴趣的内容,极简体验离不开AI。
在内容变现上,快手基于直播、电商和广告等变现,推出磁力引擎等面向广告主的营销服务平台,发布“快品牌计划”、“品牌C位计划”,与京东、拼多多等电商巨头合作,推出快手小店,帮助创作者变现、满足品牌/商家的销售与营销需求,不论是广告还是商品的推荐,每一个变现环节背后都有AI的驱动,确保用户体验、增加创作者收入、帮助品牌提高营销效率、降低营销成本。
早在 2017 年快手创始人宿华就在一次分享中表示,快手是一家用AI服务用户的公司,“我2006 年时加入谷歌,做AI 相关工作已经10 年时间。当年和谷歌的同事一起研究和应用AI 技术,后来我开始自己创业,也基本都和人工智能相关。”既然快手是一家将AI应用到业务毛细血管的公司,自然对服务器AI算力要求很高。
总结:
快手在乌兰察布百亿投资、自建自研专注于大数据与AI的数据中心,既是快手业务高速发展的结果,也体现出其谋局未来的野心。短视频、直播、电商……各项业务大获成功后,快手将抓住直播电商、5G、新基建和产业互联网的时代机遇,继续高速增长,快手的数据中心将会进一步“膨胀”。在“记录与分享生活”的使命下,以AI为基石的快手在数据中心上的野心比我们看到的更大。
乌兰察布,是一个全新的开始。