捕获深度：结构化的光，飞行时间和3D成像的未来

在最近的一篇文章中，我看了看莱特罗的灭亡，第一台消费者“光场”摄像头的制造商，以及这项技术在移动设备中的未来意味着什么。就像它的某些结果一样有趣，光场成像并不是捕获深度信息并使用移动设备生产3D图像的唯一选择。更有趣的可能性之一 - 您可能已经使用的可能性 - 是“结构化光”的概念，”这个术语涵盖了几种相关方法，可将深度信息添加到其他普通的“ 2D”摄影中。

由于开发了相对廉价的图形处理硬件和复杂的图像处理算法，在过去的十年或两年中，光场摄影和结构化的光线仅在过去的十年中变得实用。

他们共同启用了计算摄影方法的消费市场使用，其中计算在操纵构成图像的光（数据）方面取代了传统光学器件的位置（然后是一些）。使用这种方法，其中处理数字图像传感器提供的数据以获取超出我们在“快照”中看到的信息之外的其他信息，从而允许简单的相机硬件传递几年前不可能的图像。

特别是结构化的光是基于一个相当容易理解的原则。除了相机本身外，结构化的光系统还增加了一个光源，即某种形式的投影仪，以照亮带有条纹或类似图案的对象，然后被相机“看到”。该照明的常规几何形状会被物体的表面扭曲，并且可以计算出对象的深度图。用户也不需要看到任何一个。线的模式可以有效地投影在无形的红外（IR）光中，并且仍然很容易被相机传感器拾取。

您很可能已经在工作中看到了这种方法；这是在最近的内存中引入的最受欢迎的游戏配件之一，Microsoft的Kinect运动传感器系列与Xbox游戏机一起使用。(More correctly, this method was the basis of the original Kinect; with the introduction of the Kinect for Xbox One in 2013, Microsoft changed from an IR structured light system to a different depth map method, which we’ll look at in a moment.) If you look at an original Kinect, you’ll see what looks like two cameras near the center of the device, plus another optical component located well off to the left of center. That’s the IR source, and it projects a grid of lines to be “seen” by the IR camera, a 640 x 480 monochrome sensor that’s the rightmost of the two center cameras. The other is a 1280 x 960 RGB camera, which captures full-color visible light imagery.

IR系统以30fps的速度运行，可在设备前方大约四到11英尺的范围内提供深度信息。这可以与颜色摄像机的数据结合使用，以有效地生成Kinect视图中内容的有限3-D版本。所有这些仅在发布时花费了约150美元。

Xbox One的Kinect使用另一种方法在场景的深度方面产生数据。该模型放弃了基于IR的结构光方法，转而使用飞行摄像头的时间。此方法中使用的基本硬件与结构化光系统非常相似 - 它只需要一个光源和相机。在这种情况下，光源会定期闪烁，相机的单个像素测量在给定位置到达主题需要多长时间，反射并返回 - 有点像声纳。由于光线以非常清晰的速度（每秒十亿秒钟覆盖约一英尺）以非常明确的速度行驶，因此测量时间为您提供了与受试者的距离。同样，处理器的速度仅达到了最近在消费市场上可以在经济上进行经济执行的地步。例如，3GHz时钟速率可以用约2英寸的精度测量距离，足以使人对人体的定向和正在做什么有一个很好的了解。

索尼最近还使用去年在当时的旗舰上推出的“ 3D创建者”应用程序在消费者3D成像区域发出了一些声音Xperia XZ1手机。这是上周Lytro文章中讨论的最接近的“光场”方法。但是，索尼不是同时从多个角度捕获图像，而是要求用户物理移动手机以允许相机扫描对象。

除此之外，该过程非常相似。复杂的算法采用从各个角度捕获的图像集并匹配功能以合成3D图像。这有点耗时，而且远非完美，但它显示了三维成像的另一个可行途径。

但是，那呢？

在整个历史上，3D成像基本上一直是一个头。它在娱乐行业中经常出现，以使其飞溅，然后从公众眼中迅速消失（正如我们所涵盖的那样这里）。

对移动市场的3D突然兴趣与电视和电影的方式无关。请注意，到目前为止的所有讨论中，都没有说关于捕获立体图像（传统的“ 3D”图片或电影）的词来直接观看。

取而代之的是，推动移动技术增加3D成像功能的最大因素之一是对虚拟现实和增强现实的兴趣爆炸。良好的VR体验依赖于能够在说服3D时产生各种物体（包括您自己和您的个人物品），如果您想将它们带入您所经历的虚拟世界。

当然，VR游戏，游览和其他沉浸式环境的创建者可以创造出令人叹为观止的三维版本的东京，阿卡姆庇护所或千禧猎鹰，但他们不知道如何让您或您的VR旅行者放在一起那里。您将必须自己提供这些图像。

增强现实将计算机生成的图像置于您周围的世界中，不仅可以通过捕获良好的日常物体模型，而且可以更好地了解周围环境在深度方面的真实状况，从而得到极大的改进。

当该角色沉入桌面上或穿过它时，将CGI角色放在您面前的真实桌子上的说法要少得多。将准确的深度信息添加到高分辨率照片或视频中也可以增强设备安全性，因为越来越多的移动设备转向面部识别和其他生物识别技术，以取代旧形式的保护形式，例如密码和图案。

最近开发对3D成像的兴趣是消费者一级的3D打印技术的兴起。While professional — or even serious amateur — use of this tech requires far more accurate 3D capture of objects than what’s currently possible with smartphone-level imaging, a lot of home solid-print enthusiasts will be perfectly happy with what their structured-light or time-of-flight imaging systems can give them in their current state.

质量也不断提高。引用VR和AR市场的因素，推动了3D计算机视觉中市场兴趣的增长，移动设备芯片制造商高通去年秋天宣布了他们的苗条（结构灯模块）Turnkey 3D摄像头模块。当与公司的光谱“图像信号处理器”零件结合使用时，声称的深度准确性降至0.1mm。

旨在将高质量深度成像带到智能手机的其他努力也正在进行中。加州理工学院（Caltech）表现出去年的纳米光子相干成像仪（NCI）芯片，该成像仪（NCI）芯片依赖于一系列扫描激光束以在其视野内生成对象的深度图。到目前为止，它仅是一种小型，低分辨率的设备，但加州理工学院的研究人员认为，它可以扩展到更高的分辨率成像仪，并且仍然足够廉价地将其纳入消费者设备。

鉴于该行业的主要参与者的兴趣和投资水平，很明显，不仅有少数人认为，除了通常的两个维​​度之外，还将是我们在不久的将来的移动设备的必备功能。如果您的下一部智能手机在所有三个维度上看到世界，甚至比您更好，请不要感到惊讶。

在下面的评论中，让我们知道您认为这项技术对移动设备的重要性或有用。