＂进语音，开麦！＂相信很多游戏玩家都对这句话深有感触。不管是打PC电竞《堡垒之夜》、《守望先锋》、《DOTA2》、《英雄联盟》，还是用手机玩《王者荣耀》、《和平精英》甚至狼人杀，＂游戏麦＂都是双手被占用的玩家之间主要的沟通方式。以音频为基础向外延伸出巨大的音视频社交娱乐需求，在这种沟通方式的背后，是以实时音视频互动为基础的新一代互联网虚拟社交。 堡垒之夜游戏界面 图源：3DM 在互联网诞生之前，人们的娱乐、社交都是在真实世界中完成的。互联网诞生后直至今日，人们的生活转变为半真实半虚拟——一部分生活、工作、娱乐在现实中实现，另一部分则在网络上完成。同时，网络正在逐步覆盖更多的真实生活方式，可以预见，下一代互联网模式将把人类生活拆分成一个真实、一个虚拟的两个平行空间，也就是所谓的Metaverse。 Metaverse是Meta+Verse的组合，也就是＂元宇宙＂，它被定义为＂未来互联网形态＂，笔者认为未来VR/AR将是Metaverse的承载终端。经过Roblox上市估值暴涨、巨头纷纷入局后，Metaverse概念逐渐为人所知。 以当代人的世界观解释Metaverse，更贴切一点的说法就是类似电影《头号玩家》中＂绿洲＂游戏一样，在未来的互联网世界中，人们会拥有虚拟形象，能够在虚拟世界中拥有和现实世界一样的＂人生＂，一样生活、社交、工作、娱乐。 构建理想中的Metaverse，重点是如何打造一个与现实生活平行的、体验几乎无差异的虚拟世界，这其中涉及建模、定位技术、手势识别、脑机接口等各类VR/AR底层技术，除此之外极其核心的还包括沟通方式，也就是高质量、低延时的实时音视频互动技术。由于Metaverse将创造的是一个虚拟的平行世界，未来的人们将会花更多的时间在Metaverse上，这就像现在的我们已经离不开手机了一样。在这一前提下，VR产业的发展也就变成了不可阻挡的趋势。 实时音视频技术 将是构建Metaverse的关键技术之一 牢牢把握美国下一代互联网用户的Roblox近期引爆了Metaverse概念，腾讯、Facebook也不甘落后，而巨头对Metaverse的关注都共同指向一个终极——社交。但无论是手势识别还是脑机接口，对人类来说都无法真正替代面对面的交流。可以说，Metaverse最重要的就是与现实世界无差别的互动体验，而实时音视频技术可以提升用户在虚拟世界中的沉浸感。 VR/AR行业一直强调的＂沉浸感＂是一种微妙的个人感受，它实际上是用户的眼、耳、口、身多重感官的综合体验，用户在用眼睛、手脚感受逼真、炫酷的虚拟世界的同时，还能通过低延时、流畅的实时音视频与虚拟世界中的其他真人玩家或者虚拟NPC实时沟通，实现彼此处于同一空间进行面对面交流的体验。借助实时音视频技术，未来你或许可以像《头号玩家》里的沃兹一样，与来自全世界的成千上万的VR玩家在同一个具备强社交性、高度沉浸感、实时互动的Metaverse虚拟世界中开启欢畅聊天、组队冒险之旅。 图源：网络 正如前文所说，一些大厂已经开始重视实时音视频互动技术并积极布局Metaverse领域，同样的，VR/AR厂商也逐渐开始重视实时音视频互动技术在VR/AR领域的应用。日前，HTC VIVE虚拟生态大会上，HTC 发布的ISV合作伙伴计划中就有全球实时互动云开创者和引领者——声网Agora的身影。那么，声网Agora有何技术优势，联手HTC又会为VR/AR技术的发展带来什么变化呢？ 落地10余行业100多种场景 月均用量超400亿分钟 声网Agora 有何优势 简单来说，HTC VIVE ISV开发者计划就是搭建一个开发商到企业之间的桥梁，一方面，为企业客户拓展更多端到端的解决方案组合，另一方面为独立开发者创建了平台，提供更多资源和结构化支持，帮助ISV加快VR解决方案的产出，并赢得更多商业机会。 图源：网络 作为首批参与ISV计划的企业，声网Agora成立于2014年4月，在实时互动音视频领域深耕多年。开发者只需简单调用API，30分钟即可在应用内构建多种实时音视频互动场景。声网Agora API 已经赋能社交直播、在线教育、游戏电竞、IoT、AR/VR、金融保险、医疗、企业协作等10余行业，共计100多种场景。 随着VR/AR技术从理论走向落地应用，声网Agora也逐渐意识到实时音视频技术对该领域的重要性。声网Agora对于VR/AR场景的定制化解决方案不仅保持着其实时音视频技术一贯的高质量、低延时、弱网对抗、高安全性等优异特性，同时还支持跨网跨端互动，实现全终端互联互通。 在VR/AR中，如果要让用户相信，这是一个真实的空间并沉浸其中、不出戏，那么对音频＂空间感＂的要求很高。值得一提的是，声网的音频编解码专利技术，能够支持全方位多声道的立体声——这也是VR/AR实现＂沉浸感＂的关键一环。 要实现完全沉浸，就要模拟人的五官感受，即视觉、听觉、嗅觉、味觉、触觉。受限于技术发展，目前仍只能实现部分沉浸，即视觉和听觉模拟。视觉部分通过分辨率提升来达到更清晰的效果，而听觉模拟则需要借助环绕立体声，也就是我们通常所说的全景声。 而声网Agora的360 环绕立体声功能，拥有真实的方位感、距离感，让用户在虚拟世界实现＂听声辨位＂、＂听声识距＂，这一技术的应用，也会从实时音频互动的角度，进一步提升VR/AR内容带给用户的沉浸体验。 加速布局 声网Agora实时音视频技术 于VR/AR领域落地 在沉淀技术的同时，声网Agora也同步在探索VR/AR领域的落地场景，并积累了诸多应用实践。 据了解，AR产品和服务提供商亮风台旗下HiLeia通讯平台、AR+AI企业级服务商亮亮视野发布的AR眼镜与人机协作平台AR眼镜GLXSS ME（Multi-Edition）均采用了声网提供的实时音视频解决方案。 图源：亮风台 想要实现身临其境的体验，让用户流畅地在自己的AR眼镜中完成语音、视频沟通，如远程专家与一线工人之间的协作，技术人员和维修人员的协作等等，意味着对实时通讯中的音视频高清晰度、实时性以及稳定可靠程度有着更高的要求。 声网Agora的实时音视频技术拥有专门针对弱网环境的算法和拥塞控制算法，保证在80%丢包下音频通话流畅，70%丢包下视频通话流畅，为用户带来更高效的远程协作体验。 此外，SD-RTN 是声网专为实时互动而创建的软件定义实时网，覆盖了 200+ 国家与地区，拥有超低延时、抗弱网、高并发、高可用等特性，全球端到端网络优质传输率超过 99%，延时中位数76ms，能够有效保障AR智能设备中的视频通话超低延时体验。 在5G+AR加速落地的风口下，声网Agora的实时音视频服务，作为5G应用的重要组成部分，助力亮风台的AR行业解决方案，在智能制造、远程医疗等应用场景中更好的实现商业落地。 针对AR智能硬件电池、CPU受限的问题，声网Agora也在多方面进行了优化，包括编码算法、降噪算法、帧率和分辨率的优化算法，推出了专为智能设备定制的IoT SDK，可以真正做到低功耗、占用空间小，接口丰富，满足个性化适配的需求。 此外，声网还在去年推出全球首个可以跑在RTOS上的RTC SDK，也是业界最小的full-featured RTC实现，包体积300K以下，内存占用2MB，CPU占用30MIPS，适合超低功耗、快速启动、成本敏感的IoT场景。 Metaverse 仍在技术积累期 声网Agora入局 将夯实VR/AR底层技术＂地基＂ 当下，虽然全球科技、互联网企业陆续加入到炙手可热的Metaverse战局中来，但距离真正的Metaverse实现仍有一段距离，目前依旧处于技术积累期，而VR/AR也将是脑机实现之前承载Metaverse的主要终端。 从PC时代到移动时代，再到被称为＂下一代计算平台＂的VR/AR时代，人类社交的核心诉求并没有发生变化，只是在每一代终端变革中，人与人之间的距离不断拉近，虚拟世界中的沟通、交互方式越来越趋向真实。 声网Agora 的合作客户之一 （图源：声网Agora） 实时音视频技术作为构建Metaverse的底层核心技术之一，VR陀螺在与诸多VR/AR内容开发者的交流中发现，在音视频互动技术方面，目前大家使用的基本都是开源SDK，虽然使用门槛低，但很难保证使用过程中的稳定性。 且此前VR/AR产业对于该技术缺乏关注，导致能够提供专业解决方案的企业只是凤毛麟角。此次声网Agora联手HTC布局VR/AR应用，于声网Agora自身来看是挖掘全新领域、扩大落地场景的机遇，而对于VR/AR产业来说，则是为底层技术夯实了＂地基＂。 2021年，VR/AR行业看到了不少新技术的发展，包括定位技术、手势识别等，甚至脑机接口也已进入普通用户视野、开始探讨商业落地可能性的阶段。在Metaverse大放异彩、VR/AR技术重获关注、行业加速奔跑的今天，声网Agora和其强大的实时音视频技术的加入，也将有效推动未来虚实融合世界的加速到来。