2022年，Meta与高通宣布合作打造基于骁龙XR平台和技术的定制化VR芯片组，这意味着虚拟现实厂商的差异化竞争已经到达芯片层面。近年来，越来越多的虚拟现实设备不再“蹭”手机处理器，转而选择了XR（包括VR、AR、MR）专用芯片。如果说芯片等关键零部件的专有化，被业界视为虚拟现实走向产业化的重要标志，那么芯片的定制化，则是虚拟现实走向商用的又一个关键节点——VR整机产品的竞争已经到达芯片层面。
XR芯片的能力象限
8年前，曾经的Facebook（现已更名为Meta）豪掷20亿美元收购Oculus，是虚拟现实进入大众视野的标志性事件。如今的VR产品已不再局限于用线缆与电脑主机相连的头盔，一体机式的独立头显、风镜式的超短焦VR眼镜，开启了移动VR时代。在VR成为独立设备的早期，许多厂商在VR整机中使用了智能手机处理器。但随着VR的消费和行业用例越来越多，用户对佩戴体验的要求越来越高，一款为XR设计的专用芯片成为业界的共性诉求。
“XR专用芯片方面必须满足终端在性能、功耗、连接、图形、AI等方面的要求。除了硬件芯片平台，空间定位、环境感知等算法也需要不断迭代。沉浸式的XR体验由于视野较大，对于分辨率、刷新率、用户感知、环境感知、数据传输和显示时延、定位技术的需求，相比于智能手机等小视野设备提升了一个等级，因此对性能和功耗的需求也更高。”高通技术公司中国区XR业务负责人郭鹏向《中国电子报》记者表示。
随着越来越多的3A游戏开发者进入VR领域，通过线缆与电脑连接的PC VR也对电脑的存储、处理器等芯片的性能提出了更高的要求。
以VR冒险游戏《阿斯加德之怒》为例，其材质、纹理细节的渲染需要121GB的存储空间。英特尔为PC VR玩家推荐的电脑配置为16GB以上的DDR4内存，1TB以上的SSD，支持90fps（笔记本电脑）或144fps（台式机）的GPU，Core i7（笔记本电脑）或Core i9（台式机）处理器作为CPU。英伟达更是将VR视为“要求非常苛刻的PC应用”，其GeForce RTX GPU为先进的VR头盔和GeForce Game Ready驱动（包括适用于VR游戏的新性能调整和更新）提供即插即用的兼容性。
与封闭式的VR设备不同，AR眼镜是一种半透光的可穿戴设备，以实现虚拟元素在用户所见的真实场景的叠加。
亮风台市场总监洪雁菲向记者表示，AR整机一般分为一体机和分体机，分体机的处理单元借助手机，对芯片要求弱。对一体机而言，一般关注三个要素。一是ISP（图像信号处理器）对于摄像头能力的支撑。摄像头是AR感知、交互的入口，优秀的AR体验需要结合不同类型的摄像头能力，如用于处理拍照、视频的主摄像头，鱼眼、支持眼动交互的次摄像头，同时也需要摄像头具备暗光、低照度等AI处理能力，以便更好地支撑产品体验。二是CPU性能。部分AR算法运行于CPU上，其中CPU的核心数与制程对SLAM、人脸识别、物体识别等AR算法有关键影响。三是GPU，尤其是GPU的3D渲染能力。相较VR而言，AR对于帧率的要求稍低，一般在60帧左右，但这仍然是考虑芯片能力的关键点。
在VR仍以头盔式设备作为主流形态时，AR已经大规模采用独立眼镜式或者与手机连接的眼镜式形态。这也意味着AR设备对虚实融合能力和功耗的优化有着更加迫切的需求。
“AR的特点我们一般总结为空间互联、虚实融合、智能交互，因此反应到芯片性能上，我们期待未来的芯片研发能在功耗优化上进一步提升。功耗过高对产品的散热、续航等造成不利，进而反过来影响芯片性能的发挥。AR可穿戴设备的发展方向必然是小型化、轻量化，因此芯片功耗优化是当务之急。”洪雁菲表示。
从共性技术优化到企业需求定制
XR已经从新兴技术走向消费市场和行业市场的落地阶段，XR芯片平台商也愈发注重下游整机企业的个性化需求，参与推动芯机的联合调优。
平台级的芯片能力，涉及算法、系统、架构等层面的多维度赋能。上海海思于2020年发布的XR芯片平台，就联手了AR企业Rokid共同优化平台专用的算法和方案，双方对语音、视觉、环境感知等AI计算能力做了大量的优化工作，完成了多路视频编解码的高分辨率低延时设计，从芯片规格、系统软件和云端服务多个层面，为XR行业提供AI、交互和多人协同等核心基础能力。
Meta与高通于今年签署的多年战略协议，将通过面向Meta Quest平台而定制的骁龙XR平台，优化产品体验。据悉，两家公司的工程和产品团队将深化技术合作，打造下一代平台和核心技术，加速全面实现元宇宙的愿景。
截至目前，高通已经推出了三代XR专用方案。在率先推出全球首个XR专用平台骁龙XR1的基础上，高通于2019年年底推出全球首个5G XR平台骁龙XR2。除了基础的AI和5G、Wi-Fi连接支持，XR2平台还在视觉、交互和音频技术方面进行了定制优化，包含一个定制的始终开启、低功耗的Qualcomm Hexagon DSP，支持语音激活和情境侦测等硬件加速特性，让用户在沉浸于数字世界的同时也能听到真实世界的声音。
面向MR、空间计算等更加复杂的XR用例对芯片性能、散热和空间定位及感知能力的更高要求，高通于今年10月推出了最新旗舰XR平台第一代骁龙XR2+，以助力下一代MR、VR终端实现功耗和散热性能的提升。该平台支持并行感知技术，包括头部、手势和手柄追踪、3D重建以及低时延视频透视。该平台的高像素密度能够支持PC级虚拟景观，并能够同时支持多个传感器和摄像头，为更逼真的虚拟人物赋予细致入微的面部表情。
从面向XR技术本身的定制优化，到针对企业具体需求的定制化，XR芯片的开发和迭代路径正在衍生出更多的层次。这也意味着消费者和企业用户的个性化需求正在从下游向上游传导，构成应用端、整机、底层硬件与基础软件开发商协同互促的正向循环。
AI是下一阶段的重点
今年1月，Meta与英伟达宣布联合打造大型AI研究超级计算机（以下简称RSC）。RSC部署了760个英伟达DGX A100系统作为计算节点，共有6080个英伟达A100 GPU通过英伟达Quantum 200Gb/s InfiniBand网络连接，可提供1895（千万亿次）TF32计算性能。Meta希望RSC能助力构建全新的AI系统。例如，为一大群使用不同语言的人员提供实时语音翻译，让他们可以无缝协作或一起玩AR游戏，最终为构建元宇宙铺平技术道路。
对于城市级空间计算、元宇宙等下一代XR技术，AI将在算法加速、感知识别、情境理解等关键节点发挥作用。高通公司总裁兼CEO安蒙在2022世界人工智能大会的演讲中表示，元宇宙需要学习和适应不断变化的环境及用户偏好，因此AI对于塑造用户体验至关重要。计算摄影和计算机视觉技术将支持对手部、眼球和位置的追踪，情境理解等深度感知功能。基于AI的信息扫描和图像分析，用户能够打造高度逼真的虚拟化身，提高用户本人和其他参与者的体验。AI还将推动感知算法、3D渲染和重建技术的发展，以构建更加逼真的环境。此外，自然语言处理将支持机器和终端理解文本和语音，并采取相应的行动。
构建虚拟空间所产生的庞大数据量，需要云、边、端协同的人工智能技术。安蒙指出，AI处理能力需要拓展到边缘侧，情景丰富的数据在边缘产生，分布式智能应运而生。这将显著地推动更加丰富的AI应用规模化地部署，同时整体提升云端的智能。终端AI能够提升设备安全性，使敏感数据可以在本地保存，无须发送至云端。终端AI还能够侦测恶意软件，这对于大规模共享环境至关重要。此外，终端侧AI将赋能联邦计算等新的颠覆性技术，助力更高效地运用有限的网络资源和带宽。
“XR芯片设计中可以增加NPU异构计算能力。把人脸识别、手势识别、眼动追踪等深度学习相关的运算放在NPU、GPU或DSP上，做好异构计算，进而有效降低CPU负载，减少系统响应时间，提高流畅度。”洪雁菲说。 （记者 张心怡 ）