移动VR面临的挑战

我们终于深入研究了虚拟现实革命，正如某些人可能所说的那样，市场上有大量的硬件和软件产品，以及涌入的资源来刺激创新。但是，自从主要产品在这个领域推出以来，我们已经过去了一年多，我们仍在等待该杀手级应用程序，以使虚拟现实成为主流成功。在我们等待的同时，新的发展继续使虚拟现实成为更可行的商业选择，但是仍然存在许多技术障碍，尤其是在移动VR领域。

有限的功率预算

移动虚拟现实应用程序面临的最明显和讨论的挑战是，与台式机PC等效相比，功率预算和热约束更为有限。通过电池运行密集的图形应用意味着需要较低的电源组件和有效利用能量来保留电池寿命。此外，处理硬件与佩戴者的接近性意味着不能将热预算推高。为了进行比较，移动设备通常在低于4瓦的限制范围内运行，而桌面VR GPU可以轻松消耗150瓦或更多。

It’s widely acknowledged that mobile VR isn’t going to match desktop hardware for raw power, but that doesn’t mean that consumers aren’t going to demand immersive 3D experiences at a crisp resolution and with high frame rates, despite the more limited power budget. Between watching 3D video, exploring 360 degree recreated locations, and even gaming, there are still plenty of use cases suited to mobile VR.

回顾您的典型移动SOC，这会产生其他不太喜欢的问题。尽管移动SOC可以包装出不错的八核CPU布置和一些显着的GPU功率，但由于前面提到的功耗和热约束，因此无法完全倾斜这些芯片。实际上，移动VR实例中的CPU希望尽可能少地运行，从而释放GPU以消耗有限的电力预算。这不仅限制了用于游戏逻辑，物理计算甚至背景移动流程的可用资源，而且还对基本VR任务造成了负担，例如绘制立体渲染的呼吁。

该行业已经为此致力于解决方案，这不仅适用于移动设备。Multiview渲染在OpenGL 3.0和ES 3.0中得到了支持，并由Oculus，Qualcomm，Nvidia，Google，Epic，Epic，Arm和Sony的贡献者开发。Multiview只需单个拉动调用即可进行立体渲染，而不是每个观察点一个，从而减少了CPU要求并也收缩了GPU顶点作业。这项技术可以将性能提高40％至50％。在移动空间中，多视图已经得到了许多ARM MALI和Qualcomm Adreno设备的支持。

预计将出现在即将到来的移动VR产品中的另一项创新是呈现的渲染。与眼睛追踪技术结合使用，FOVEATED渲染渲染可通过仅在完全分辨率下渲染用户的精确焦点，从而减轻了GPU上的负载，并减少了外围视觉中对象的分辨率。对人类视力系统的补充可以很好地减少GPU负载，从而节省了功率和/或释放其他CPU或GPU任务的更多功率。

带宽和高分辨率

尽管在移动VR情况下的处理能力受到限制，但该平台仍然与其他虚拟现实平台相同的要求，包括低延迟，高分辨率显示面板的需求。即使是那些已经看到具有QHD（2560 x 1440）分辨率或Rift耳机的1080×1200分辨率的VR显示器也可能对图像清晰度有些不知所措。鉴于我们的眼睛离屏幕如此近，因此尤其有问题，在运动过程中，边缘看起来特别粗糙或锯齿状。

蛮力解决方案是增加显示分辨率，而4K是下一个逻辑进展。但是，无论分辨率如何，设备都需要保持较高的刷新率，而60Hz的最低限度为90甚至120Hz，更可取。这给系统记忆带来了很大的负担，比今天的设备增加了两到八倍。内存带宽在移动VR上已经比桌面产品中更有限制，桌面产品使用更快的专用图形内存，而不是共享池。

节省图形带宽的可能解决方案包括使用压缩技术，例如ARM和AMD的自适应可伸缩纹理压缩（ASTC）标准或无损爱立信纹理压缩格式，这两者都是OpenGL和OpenGL ES的官方扩展。ASTC在ARM最新的Mali GPU，NVIDIA的Kepler和Maxwell Tegra Socs以及英特尔最新的集成GPU中也得到了支持，并且在某些情况下可以节省超过50％的带宽，而在某些情况下可以使用未压缩的纹理。

其他技术也可以实施。镶嵌的使用可以通过更简单的对象创建更详细的几何形状，尽管它需要其他一些实质性的GPU资源。递延渲染和前进像素杀戮可以避免渲染遮挡的像素，而binning/平铺体系结构可用于将图像分开为单独渲染的较小的网格或瓷砖，所有这些都可以节省带宽。

另外，开发人员可以为图像质量做出牺牲，以减少系统带宽的压力。可以牺牲几何密度或用于减少负载的更具侵略性的淘汰，而顶点数据分辨率可以降低至16位，低于传统使用的32位准确性。这些技术中的许多已经用于各种移动包装，它们可以一起帮助减少带宽的压力。

内存不仅是移动VR空间中的主要限制，而且它也是一个相当大的权力消费者，通常等于CPU或GPU的消费。通过节省内存带宽和使用情况，便携式虚拟现实解决方案应具有更长的电池寿命。

低延迟和显示面板

说到延迟问题，到目前为止，我们只看到VR耳机运动面板运动面板，这主要是由于快速的像素切换时间在毫秒以下。从历史上看，LCD一直与幽灵问题相关联，以非常快速的刷新速率，使其不适合VR。但是，高分辨率LCD面板的生产仍然比OLED等效物更便宜，因此切换到该技术可以帮助将VR头戴式耳机的价格降低到更实惠的水平。

显示器在虚拟现实系统的整体延迟中特别重要，通常会在毫无用处和低于标准的体验之间差异。在理想的系统中，运动潜伏期 - 移动头部和显示器​​响应之间的时间应小于20毫秒。显然，这里的50ms显示器在这里不好。理想情况下，面板需要低于5ms，以适应传感器和处理延迟。

目前，成本性能权衡有利于OLED，但这很快可能会改变。LCD面板支持更高的刷新率和低黑白响应时间，利用尖端技术（例如闪烁的后灯）可以很好地适合该账单。日本展示展示去年这样的小组讨论，我们可能会看到其他制造商也宣布了类似的技术。

音频和传感器

尽管许多常见的虚拟现实主题围绕图像质量围绕着，但沉浸式VR也需要高分辨率，空间准确的3D音频和低延迟传感器。在移动领域中，所有这些都必须在影响CPU，GPU和内存的相同的限制功率预算中完成，这带来了进一步的挑战。

我们以前曾谈到了传感器延迟问题，其中必须注册运动并作为20ms运动与光子延迟延迟限制的一部分进行处理。When we consider that VR headsets use 6 degrees of motion – rotation and yaw in each of the X, Y, and Z axis – plus new technologies such as eye tracking, there’s a considerable amount of constant data to collect and process, all with minimal latency.

解决该延迟尽可能低的解决方案几乎需要端到端的方法，硬件和软件都可以并行执行这些任务。幸运的是，对于移动设备而言，使用专用的低功率传感器处理器和始终启用技术非常普遍，并且它们以相当低的功率运行。

对于音频而言，3D位置是一种用于游戏等的技术，但是使用与头部相关的传输功能（HRTF）和卷积混响处理，这是逼真的声音源定位所必需的，是处理器的相当密集的任务。尽管可以在CPU上执行这些操作，但专用的数字信号处理器（DSD）可以在处理时间和功率方面更有效地执行这些类型的过程。

将这些功能与我们已经提到的图形和显示要求相结合，很明显，使用多个专业处理器是满足这些需求的最有效方法。我们已经看到高通​​成为其旗舰的大部分异构计算能力最近的中层Snapdragon移动平台，将各种处理单元结合到一个包装中，并具有能力，可以很好地满足许多此类移动VR需求。我们可能会在许多移动VR产品（包括独立的便携式硬件）中看到包装的类型。

开发人员和软件

最后，如果没有软件套件，游戏引擎和SDK来支持开发人员，这些硬件的进步都不是很好。毕竟，我们不能让每个开发人员为每个应用程序重新发明轮子。如果我们要查看广泛的应用程序，保持开发成本较低和速度尽可能快地是关键。

特别是SDK对于实施关键的VR处理任务至关重要，例如异步时间沃尔普，镜头失真校正和立体渲染。更不用说异质硬件设置中的电源，热和处理管理。

幸运的是，所有主要的硬件平台制造商都向开发人员提供SDK，尽管市场是一个相当分散的，导致缺乏跨平台的支持。例如，Google拥有为Android提供的VR SDK，并且具有用于流行的Ubob体育提现nity Engine的专用SDK，而Oculus的移动SDK与三星为Gear VR配合使用。重要的是，Khronos集团最近发布了其OpenXR计划，该计划旨在提供API来覆盖设备和应用程序级别层的所有主要平台，以促进更轻松的跨平台开发。OpenXR可以在2018年之前的某个时候看到其第一个虚拟现实设备的支持。

包起来

尽管有一些问题，但仍在开发技术，并且在某种程度上已经在这里，这使得移动虚拟现实可用于许多应用程序。移动VR还具有许多好处，这些好处根本不适用于桌面等效物，这将继续使其成为值得投资和阴谋的平台。可移植性因子使移动VR成为多媒体体验甚至轻型游戏的引人注目的平台，而无需连接到更强大的PC的电线。

此外，市场上越来越多地配备了虚拟现实功能的移动设备数量，使其成为吸引最大目标受众的首选平台。如果虚拟现实是成为需要用户的主流平台，而移动设备是周围最大的用户基础。