VR-AR虚拟(增强)现实技术发展背景与关键技术趋势(二)

从用户与内容应用间的交互程度看，虚拟现实业务可分为弱交互与强交互两类。前者通常以被动观看的全景视频点播、直播为主，后者常见于游戏、互动教育等形式，内容须根据用户输入的交互信息进行实时渲染，自由度、实时性与交互感更强。

在弱交互领域，虚拟现实视频的社交性、沉浸感与个性化特质日益凸显，强弱交互内容界线趋于模糊。由于体育赛事、综艺节目、新闻报道与教育培训等直播事件受众群体明确，商业落地相对成熟，VR直播成为丰富虚拟现实内容的利器，可较大程度上缓解目前高品质VR内容匮乏、“有车没油”的问题。对于手机式、一体单目/多目、阵列式、光场式等内容采集设备的技术选型，VR直播呈现两极化趋势，即满足专业生产内容（PGC）高质量、多格式与用户生成内容（UGC）操作便捷、成本可控的发展要求。此外，作为VR直播相比传统直播独有的关键技术，图像拼接可基于特征、光流等多种不同的处理域进行拼接，其中，图像配准涉及特征空间、相似性度量、搜索空间和搜索策略的选择，图像融合须考虑拼接处过渡自然和整体画面协调，因摄像机和光照强度的差异，图像间亮度和色度不统一，缝合后的图像会出现明暗交替或有明显接缝的问题，因而需要进行亮度和色度的均衡处理。当前，VR直播可分为表演区与观众区，在观众区引入以用户为对象的虚拟化身，有助于进一步增强视频社交性。同时，通过Unity、Unreal等开发引擎进行虚拟现实拍摄与制作，而后传至头显终端，可避免基于用户交互信息的本地渲染负载。未来，随着VR直播的常态化，制作上云将成为简化虚拟现实内容摄制流程的关键技术。

另外，参考诸如《不眠之夜》等代表性沉浸式演出的创意设计思路，业界对观众间、观众与演员间的互动探索有望进化出VR直播新形式；根据交互体验自由度划分，虚拟现实视频可分为基于视野转动的3DoF、面向狭小空间内有限移动的3DoF+、房间级一定空间内6DoF-及多房间或超大开放空间中的6DoF视频。与现阶段3DoF视频相比，六自由度视频摄制技术（3DoF+及以上）可大幅提升虚拟现实用户体验沉浸性，2018年流媒体标杆企业NextVR（2020年被苹果收购）推出采用该技术的VR点播服务，并在2019年世界移动通信大会上展示了通过5G手机播放的高分辨率6DoF  VR视频，网络带宽在100Mbps水平。预计未来三年，可适配高质量六自由度的内容采集系统、摄制表现手法、云网端支撑环境、场景表示与编解码算法等细分领域将成为潜在挑战及有关标准工作的推进方向。此外，2020年业界提出了一种可实现虚拟现实六自由度沉浸体验的低成本光场视频解决方案，该方案采用消费级相机阵列进行内容采集，通过基于深度学习的视角插值网络，生成基于稀疏输入视角的多球体图像，开发了能够有效编解码6DOF视频的算法，显著降低了网络传输与终端渲染要求；个性化虚拟现实视频技术通过采集用户实时心率、眼动、语音、微表情等多元化生理指标，建构出根据用户偏好反馈的定制化内容叙事线。相比传统无交互视频中单视角单结局、既往轻交互VR视频中多视角单结局的表现形式，个性化VR视频除呈现多视角多结局、叙事线进程可变的特点，即“你在看视频，视频也在看你”。在强交互领域，VR社交成为游戏以外的战略高地，虚拟化身正在拉开虚拟现实社交大幕。

虚拟化身技术由来已久，在传统游戏中用户可见能够控制的整体人物形象（第三人称）或看到模拟手和身体等部分形象（第一人称射击游戏），受限于2D视频、狭窄视野及有限追踪感知能力，虚拟化身难以被视为用户本人。相比之下，VR用户对虚拟化身的感知与控制构成了不再脱钩的交互闭环，即追踪采集的用户数据被实时投射于虚拟化身外观及行为表现。得益于3D沉浸视频、超大视角及进阶追踪能力，位置、外貌、注意力、姿态、情绪等日益多元精细的身态语汇激活了虚拟化身潜藏的社交表现力。通过营造多人共享的临场感，VR社交进一步放大了虚拟现实强交互业务的互动程度，并结合日常交流所须的适宜间距、注视转头、手势表情等潜藏的通识准则来优化虚拟化身。

此外，一味追求照片画质级的虚拟化身存在“恐怖谷”效应，过高拟真度的外貌表现大幅拉升了用户对虚拟化身行为举止拟人化的心理预期，从而降低了虚拟化身总体可信性。如何持续提高虚拟化身真实感，同时精准调和外貌与行为拟真度间的配伍关系，成为VR社交虚拟化身的主要技术挑战与发展方向。在技术实践上，虚拟化身跨VR终端平台的兼容性不断提高，相关内容制作SDK开始向游戏引擎中集成迭代，体育赛事、综艺活动与会议展览等VR直播业务解锁了虚拟化身自定义的市场需求，用户在Venue等代表性虚拟现实内容直播平台中，可根据发型、服饰、妆容、配饰等配置组合，个性化定制亿万种虚拟化身。由于VR社交领域存在诸如多达数百人同时加载虚拟化身等性能挑战，针对不同的场景功能，可通过降低Drawcall频次、设置渲染优先级、匹配差异化的顶点数目与纹理精度等技术实践，梯度调整虚拟化身视觉质量，优化性能表现。在技术选型上，基于口、眼、表情、上肢拟真等的虚拟化身技术初步成熟，现已开始用于VR社交应用。

口型方面，依托三维扫描人类发声时对应的面部拓扑特征，构建包含广谱语音口型的模型库，借助机器学习训练音画同步网络，通过语音实时驱动面部动画。由于虚拟化身发音口型复位速度快于真实情况，且特定发音对应的极端位置与后续口型间存在平滑过度的难题，业界通过解构不同语音对各面部肌群的协同牵引关系，旨在发展出更加自然可信的音画同步技术。

眼动方面，虚拟化身可精细模拟一系列眼动眼神行为，如下意识眨眼、交谈间注视、移动物体追视、多物体快速扫视、饱含情感凝视及特定情况下瞳孔放大、视野舒适区外转头等情景，进而极大程度地丰富了VR社交的表现力与真实感。预计未来三年，除现有口型、眼动、微表情、手势肢体等上半身虚拟化身细分领域的优化迭代外，全身型虚拟化身有望兴起。在内容相关的其他支撑性技术上，WebXR、OS、OpenXR等重点领域稳健发展。作为电脑、手机、平板等智能终端用户交互窗口的延续，据统计，约有2/3虚拟现实头显用户使用浏览器。

WebXR推动了虚拟现实内容与各类终端平台、操作系统间的解耦，提供了更加便捷的网页VR/AR应用开发环境，将成为下一代Web沉浸体验的基石。2020年7月W3C发布新版WebXR规范草案，与此前WebVR相比，WebXR新增了对6DoF追踪定位、交互外设与AR应用的支持，A-Frame、React360、Three.js、Babylon.js等网页开发框架均已支持。当前，内容不足成为虚拟现实用户面临的主要体验痛点，内容生态发展成效被碎片化的软硬件平台分化稀释，2019年7月Khronos对此发布了OpenXR  1.0，旨在实现内容应用无须修改移植即可跨头显平台运行。同时，OpenXR强化了对WebXR网页开发框架的支撑，深化了对新一代3D图形应用程序接口Vulkan的协同，适配了手势、眼动追踪等多元化交互方式，丰富了5G边缘计算等应用场景。在操作系统方面，实时性、多任务、感知交互与端云协同成为当前发展焦点。

手机OS对于虚拟现实用户姿态变化难以做出实时性响应，系统设计存在诸多缓存逻辑，虚拟现实OS更像稳态系统，不论用户主动操作与否，从姿态到渲染保持稳定运行，MTP时延约束成为实时性挑战。由于虚拟现实空间可极大延展，支持用户同时可见更加丰富信息，操作系统多任务特性成为必然需求。在三维系统中的多任务化须实现系统多应用的三维化合成，在虚拟现实空间中布置各应用的运行位置，并实现3D交互，如微软Hololens、  Quest等代表性终端对操作系统三维化多任务运行的支持。

2020年虚拟现实操作系统持续演进，VR、AR  OS在感知交互方面日渐趋同，基于计算机视觉的头6手6成为发展重点，发布Oculus Quest系列验证了计算机视觉实现的可行性和准确性，须挂载4颗以上实时性要求较高的摄像头，操作系统亦须适配调优。此外，对于云化虚拟现实业务需求，如何同步终端和云端数据成为操作系统技术演进焦点，如微软推出Hololens云方案，用户可在云端记录三维地图扫描信息。开发引擎方面，基于OpenGL ES底层框架，面向移动设备的低功耗、可视化开发引擎助力VR应用开发效率提升。对于移动虚拟现实设备，如何平衡性能和功耗成为选择虚拟现实开发引擎的关键因素。Unity、Unreal借助于其在游戏领域的优势积累，目前作为虚拟现实强交互应用的主要开发引擎。近年来随着国内虚拟现实产业的快速发展，Nibiru Studio等国产虚拟现实开发引擎持续完善。

（五）感知交互：自然化、情景化与智能化为前行之路点亮灯塔

感知交互强调与近眼显示、渲染计算、内容制作、网络传输等关键领域间的技术协同，各大ICT巨头与虚拟现实科技型初创公司对此深度布局，积极投入。当前，追踪定位、沉浸声场、手势追踪、眼球追踪、三维重建、机器视觉、肌电传感、语音识别、气味模拟、虚拟移动、触觉反馈、脑机接口等诸多感知交互技术百花齐放，共存互补，并在各细分场景下呈现相应的比较优势。未来，理想的人机交互可让虚拟现实用户聚焦交互活动本身，而忘记交互界面（手段）的存在，界面愈发“透明”，自然化、情景化与智能化成为感知交互技术发展的主航道。沉浸声场体验“富矿”尚待挖潜，听音辨位、空间混响、通感移觉等成为发展重点。虚拟现实沉浸体验的进阶提升有赖于对视觉、听觉等多感官通道一致性与关联性的强化。由于周边环境、头耳构型等多重因素会影响双耳听觉闻声辨位，人们通过转头寻视声源，以消除定位判定的模糊性。

虚拟现实可结合用户头部追踪特性，解决数字内容长久以来双耳听觉的问题。基于多通道3D全景声场拾音技术（Ambisonics），声音表现可依据用户头动情况进行动态解码，虚拟现实用户即可实现更加精准的听音辨位。另外，耳机佩戴致使3D全景声被“压扁”，如何解决因声音高低位置出现的辨位失真成为关键问题。目前，、微软、英伟达、杜比、谷歌、高通等对沉浸声场积极投入，并结合人体3D扫描开始构建差异化的头部相关传递函数（HRTF）数据库，旨在进一步实现虚拟现实声音的“私人定制”。由于游戏等应用仅可准确渲染直达声，缺少对房间声学中早期反射和混响的逼真模拟，在一定程度上影响了用户“眼见为虚，耳听为实”的沉浸体验。在混响声模拟技术方面，以往开发人员须将混响手工添加至虚拟环境中的各个位置，操作修改繁冗耗时，对算力与内存资源需求较高，且因各声学响应预先计算，仅用于结构保持固定的静态环境。

当前，等企业在房间声学上取得了一定成果，混响声可根据环境的几何形状自动精准生成，且符合实时虚拟现实应用严格要求的计算和内存预算，同时实现了随环境空间构型变化的动态混响声模拟，如VR密室等探秘游戏。此外，诸如“风随柳转声皆绿”的通感表达成为了虚拟现实视听关联性发展的特色方向，如《Rez  Infinite》等VR通感游戏的上市迭代。Inside-out技术全面成熟，追踪定位将呈现集视觉相机、IMU惯性器件、深度相机、事件相机等多传感融合的发展趋势。追踪定位作为感知交互领域的基础能力，业界投入大，且日趋成熟。在VR领域，存在outside-in和inside-out两条技术路线。通过超声、激光、电磁、惯导等多种传感器融合定位较单一惯性和光学定位减少了计算资源消耗，在一定程度上优化了功耗与鲁棒性表现。目前，基于视觉+IMU的inside-out追踪定位技术实现产品化，开始大量应用于头显终端，代表产品有Oculus  Quest1/2、HTC  Vive  Focus等。

此外，2019年、HTC发布的新一代主机式Rift S、Vive Cosmos，标志着inside-out的追踪定位方式与此前Rift的outside-in追踪效果足够接近，这种省去基站外设的追踪方式符合大众市场发展趋势，未来将持续优化。在AR领域，inside-out成为唯一主流技术路线，基于终端平台的差异，视频投射式AR（video see-through）以苹果ARKit、谷歌ARCore、华为AREngine以及商汤SensAR为代表的AR SDK普遍遵循单目视觉+IMU融合定位的技术路线，在2019年对其跟踪精度和鲁棒性进行了进一步提升，毫米级别的定位精度使得AR尺子等空间测距等应用大量出现。光学投射式AR（optical  see-through）以微软Hololen2、Magic Leap One为代表的AR眼镜普遍遵循双目/多目视觉+IMU融合的技术路线，可提供毫米级别精准度的定位输出和世界级规模的6DoF追踪定位，其中SLAM算法的稳定性主要受光线与环境复杂程度影响。

由于室外光线会影响到摄像头的使用，Oculus在黑暗条件下难以提取环境信息，从而影响SLAM结果。Hololens2采用TOF提供主动光辅助定位，在一定程度上缓解了该问题。环境复杂度表现为AR眼镜受限于摄像头可实现高精准度获取信息的范围，在过于空旷（无参照物）的环境中，难以实现厘米级别定位。此外，随着基于神经拟态视觉传感器（dynamic  vision  sensor）的事件型相机技术发展，利用其高帧率、抗光照等特性，追踪定位技术鲁棒性有望进一步提升。手势追踪初步成熟，“手势追踪+”将成为虚拟现实输入交互新模式。相比其他虚拟现实输入交互方式，手势追踪技术的价值优势在于消减了用户对交互外设的配置操作与购买成本，无须考虑充电配对问题，且手势信息等身态语增强了虚拟现实体验的社交表现力，赋予了内容开发者更大的创作空间。鉴于追踪范围、体积重量、成本功耗、操作部署等方面的优势,基于黑白/RGB摄像头的机器视觉技术路径已成为标记点、3D深度摄像头方案外手势追踪的重点实现方式。

当前，手势追踪技术在发展方向上初步成熟。在算法鲁棒性优化方面，通过收集用于深度学习的多类人群手势及环境数据，可探知手部位置及关节指尖等特征点信息，进而结合反向动力学算法构建手部3D模型。在计算及功耗开销控制方面，通过深度神经网络量化压缩技术，精准可靠的手势追踪算法得以在移动式虚拟现实终端上（一体式、手机伴侣）以较低算力、时延与功耗预算运行。在交互表现性探索方面，由于虚拟现实手势输入发生在3D空间中，照搬手机触屏的2D交互语言将引发时延、遮挡、触觉反馈等诸多输入问题。时下业界围绕人因工程视角，就输入交互进行创新设计，以“捏”代“按”，可有效节省交互空间，明确交互起止时点，获知输入反馈。除单手追踪外，双手、手与笔、手与键盘、手与控制器等外设配合成为手部交互表现性探索的新方向。其中，2020年与罗技合作，双方基于实体键盘与双手追踪的交互组合，以期实现虚拟现实无界办公的体验愿景。需要说明的是，发展手势追踪并非旨在取代目前常见的VR控制器，未来虚拟现实手部交互将与VR控制器解绑，即由VR控制器输入向基于手势追踪的裸手输入、裸手+控制器等交互外设协同共存的方向发展。

眼动追踪成为虚拟现实终端的新标配。早期虚拟现实终端（如HTC Vive、Hololens V1、Meta 2等）以6DoF头动追踪技术作为眼动追踪的近似替代，在达成沉浸体验门槛后，日益进阶的用户需求开始对眼动追踪提出了更高要求。眼动追踪主要涵盖注视点追踪、瞳孔位置尺寸追踪、眼睑数据采集、生物识别等，得益于该领域在虚拟现实融合创新与以人为中心研发思路上的技术潜力，眼动追踪日渐成为VR/AR终端的新标配，且应用场景趋于多元。例如，注视点追踪可用于眼控交互、可变注视点渲染与注视点光学、FOV一致性补偿、可变焦显示系统中的辐辏调节冲突控制等任务场景。眼动追踪技术主要分为基于特征与基于图像的发展路径。两种方案均须红外摄像头与LED完成，前者通过光线在角膜外表面上普尔钦斑（Purkinje image）反射以推算瞳孔位置，已成为SMI（苹果）、EyeFluence（谷歌）、HololensV2、Magic Leap One、七鑫易维、Tobii等代表性产品的技术方案。

当前，眼动追踪技术发展的难点与焦点在于眼动算法如何基于所采集的原始眼动行为来“透视”用户意图。此外，除追踪精度指标外，用户个体与环境差异（眼球角膜、佩戴眼镜、周围光线等）对系统通用性提出了更高要求。时下多数眼动追踪系统须先行完成用户标定校准后方可使用，业界积极尝试在现有眼动系统架构中更多引入深度神经网络等人工智能算法，以期精简用户使用流程，并增强系统通用性。环境理解与3D重建将成为虚拟现实感知交互领域技术内核之一。

在数据采集方面，由于早期发展受到深度图像传感（RGBD）器件功耗和精度的，环境重建技术门槛较高，大多基于激光雷达和大功率ToF器件实现，重建过程繁复，且采集设备昂贵。随着OPPO、三星、华为等主流手机厂商旗舰机型上预制深度相机，激光雷达大幅降价，以及微软发布的Kinect V4版本可提供720P高精度深度图，较为成熟的产业链供应使得低成本、高速率生成可用于VR/AR的高质量3D模型成为可能，对周边环境和物体的理解和建模逐渐平民化。基于RGBD相机的动态语义化重建技术逐渐成熟，针对人体形状、运动、材质不易描述等难点，基于参数化人体模型和人体语义分割的语义化分层人体表达、约束及求解方式，在提升人体三维重建精度的同时，实现了人体动态三维信息的多层语义化重建。

在数据处理方面，随着AI能力的渗透释放，2019年学界出现较多基于单目RGB进行深度估计、人体建模、环境建模的学术论文，并开始快速进行技术产业化推进。AI与三维重建技术的融合创新使二维到三维图像转化以及三维场景理解成为可能。通过海量真实三维重建数据的训练，能够实现单目深度图像估算，通过二维照片估算出真实空间的三维深度数据，从而生成准确的3D模型。借助点云金字塔模型提取出三维点云在多个尺度上的局部特征，再通过图模型的三维点云语义分割和特征聚合，可完成三维点云体素级别的分类并最终实现基于三维点云数据的场景理解。

（六）网络传输：5G+F5G构筑虚拟现实双千兆网络基础设施支撑

2019年5月工信部、国资委共同印发专项行动，确定开展“双G双提”，推动固定宽带和移动宽带双双迈入千兆（G比特）时代，明确提出2019年我国千兆宽带发展的目标，2020年9月，常务会议确定加快新型消费基础设施建设，第五代固定网络（F5G）千兆宽带与5G网络共同构成双千兆接入网络联接，助力千兆城市建设。当前，作为影响虚拟现实业务体验的关键因素，传输网络不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务AI识别等新的技术路径，旨在实现无卡顿、无花屏、黑边面积小、高低清画质切换无感知等用户体验，让产业有评估业务质量的技术和方法，加速虚拟现实的规模化发展。边缘计算赋能双G云化虚拟现实提档升级。多接入边缘计算（MEC）将密集型计算任务迁移到附近的网络边缘，降低核心网和传输网的拥塞与负担，减缓网络带宽压力，提高万物互联时代数据处理效率，能够快速响应用户请求并提升服务质量。同时，通过网络能力开放，应用可实时调用访问网络信息，有助于应用体验的提升。

MEC在组网上与传统网络的本质变化是控制面与用户面的分离，一般控制面集中部署在云端，用户面根据不同的业务需求下沉到接入侧或区域汇聚侧。用户面下沉的同时，根据业务具体可将云服务环境、计算、存储、网络、加速等资源部署随网络延伸到边缘侧，实现各类应用和网络更紧密的结合，用户也可获取更为丰富的网络资源和业务服务。针对虚拟现实业务，标准组织ETSI于2014年底成立了ISG  MEC，Phase1和Phase2标准已发布场景、需求、架构和开放API等，虚拟现实作为七大场景之一，即边缘应用快速处理用户位置和摄像头图像，给用户提供实时辅助信息。其中，MEC的APP和3GPP  R14/R15的边缘DN实现有机融合，UPF作为MEC的用户面，NEF作为MECAPI能力开放提供者。由于虚拟现实编码率高、交互性强，在4G网络和百兆以下家宽网络部署中，仅可满足2K业务，尚难以满足4K/8K虚拟现实业务的规模部署，故5G/MEC的上行150Mbps大带宽以及网络时延小于20ms低时延能力可有效满足虚拟现实进阶体验。当前，云化虚拟现实业务基于MEC下沉部署，是优化网络传输效率，提升体验保证的重要途径。MEC可为应用层提供CPU/NPU/GPU算力和存储等基础设施能力、动态网络路由和精准资源调用，用户感知和网络能力开放以及运营商可靠可信可达的SLA服务能力。通过MEC边缘服务，可进一步降低云化虚拟现实业务的网络连接和终端硬件门槛，加速虚拟现实业务在5G网络和固定宽带网络的规模商用，相关商业模式转型或创新成为可能。千兆光网+云VR将成为F5G时代的典型特征与重点应用的结合。

F5G重点聚焦于全光联接、增强型固定宽带和可保障的极致体验三大业务场景，以10G PON、Wi-Fi 6、200G/400G、NG OTN和OXC等技术为代表，具有大带宽、低时延、能力开放、高稳定全光联接特性。为满足多路用户并发诉求，10G  PON是虚拟现实业务承载的必然选择。此外，业界在大力推进光纤入户（FTTH/FTTO）的同时，进一步延伸光纤网络部署，推动对家庭、企业的网络升级改造，打通光纤网络“最后一米”接入，实施“光纤到房间FTTR（Fiber to the Room）”、“光纤到终端”，以期配合Wi-Fi6技术保障每个房间均可实现高质量的虚拟现实体验，并解决云VR高密接入和多机位直播场景下的网络难题。IP架构简化、全光网络、端网协同等成为虚拟现实承载网络技术的发展趋势。IP网络架构扁平化和网络切片有助于提升承载网的传输效率，提供差异化的体验保证。由于虚拟现实对带宽、时延、丢包率有较高要求，当前传统高汇聚、高收敛承载网络面临效率低、拥塞概率大、时延长、相对丢包多等问题。

基于上述原因，首先需要对传统网络的层次和网络结构进行简化，消除LSW汇聚层和城域汇聚层，BNG向上直连CR，OLT直通BNG，提高承载网传输效率。信道子接口和FlexE等网络切片技术可在同一物理端口上实现不同等级业务间的隔离，为云化虚拟现实业务提供带宽和时延保证。随着IPV6技术的推进，业界将逐步从IPv4扩展到IPv4/v6双栈，直至切换为IPv6网络，从而减少网络中IP地址NAT转换，进一步简化网络结构。基于全光网的E2E网络切片架构有助于提供确定性低时延和大带宽保证。由于IP网络的带宽是多业务共享，在流量拥塞的情况下难以保证时延敏感业务。光通信技术具有容量大，确定性时延、功耗低等特点。随着虚拟现实网联云控技术路径的发展，数据中心之间的骨干网络可构筑立体化的智能光网络，实现DC之间的一跳直达。OTN设备逐步下沉到CO机房，在城域网络中区分业务，为高品质业务进行高优先级质量保障，提供一跳入云的能力。

OLT设备可以连接OTN或者BRAS，是业务流走向光网络还是IP网络的选择节点，为满足多种业务不同的服务等级诉求，OLT须支持网络切片功能，即在同一个物理端口上划分出可保证服务等级的切片。端网协同业务识别技术可将运营商虚拟现实业务从众多业务流中精准识别，并进行优先保障。考虑到虚拟现实CDN和云渲染边缘节点众多，且地址分散，在网络设备上静态预配置服务器地址段进行识别的传统方法，在规模较大的家庭网络设备等方面实际执行存在困难。为应对上述问题，可在终端与家庭网关设备等边缘网络节点间增加数据通信接口，以便获得访问服务器地址、业务类型、操作类型、网络需求等业务信息准确及时的通报，以及终端侧的业务体验、流传输与网络侧空口传输指标等的数据共享。

精细化运维技术成为云化虚拟现实业务质量的重要保障。云化虚拟现实运维基于产业发展和实现难度可分为手动、自动和智能运维层次。手动运维阶段业务出现卡顿或者闪断时，通常通过Ping的方式进行故障定界和定位，效率比较低，很难定位出是终端、网络还是云平台出现问题。随着用户规模发展，迫切需要更有效的自动化运维手段。结合业务体验评估体系的构建，可通过工具进行精细化运维，例如通过工具采集业务指标，进行用户质差分析。支持定界指标采集，通过探针采集云渲染流化时延、终端处理时延、网络RTT时延，进行端管云三段定界。支持随流探针采集网络指标，通过端网协同接口，支持五元组或者业务流特征智能识别云VR业务类型，终端上报业务类型、业务开始和结束时间、用户体验指标、分段时延指标等至家庭网关，家庭网关根据上报体验指标和分段KPI，结合家庭Wi-Fi和承载网KPI，进行家庭Wi-Fi和承载网分责。未来，可进一步在自动化运维的基础上引入人工智能技术，以提供主动性、人性化及动态可视的虚拟现实智能运维能力。

“来源：中国信息通信研究院、华为技术有限公司和京东方科技集团股份有限公司”。