系统下载、安装、激活,就到系统天地来!

所在位置: 首页 — 系统文章 — winxp系统教程

详解TOF 3D立体摄像头技术

作者:电脑软件 日期:2018-12-12

3D摄像摄像头是什么?3D摄像头特点在于除了能够获取平面图像以外,还可以获得拍摄对象的深度信息,即三维的位置及尺寸信息,其通常由多个摄像头+深度传感器组成。3D摄像头实现实时三维信息采集,为消费电子终端加上了物体感知功能,从而引入多个“痛点型应用场景”,包括人机交互、人脸识别、三维建模、AR、安防和辅助驾驶等多个领域。站在当前时点,我们认为2D向3D摄像头的转变将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的第四次革命,有望再度引爆消费电子供应链!一句话,触摸屏实现了交互方式从一维到平面,而3D摄像头将让交互方式从平面变成立体。

 

TOF 3D立体摄像头 00

 

3D视觉成像的三个方向

曾经,智能手机只要做到性能强、网速快、拍照清晰、续航持久就可以了。然而,如今的人们已经不再满足于“屏幕内的视界”,除了需要拍摄更具立体感的照片,更安全的面部识别/支付、3D试妆、AR装潢、AR游戏、体感游戏、全息影像交互等需要“3D视觉成像”技术支撑的应用环境(图1),才是智能手机未来的发展趋势。

 

TOF 3D立体摄像头 01

 

根据原理和硬件实现方式的不同,智能手机领域最靠谱的3D视觉成像技术逐渐衍生出了三个方向,它们分别是双目立体成像、3D结构光以及TOF技术。下面,就让我们依次了解一下这三种技术的差异吧。

 

双目立体成像:无解的光线

我们去电影院通过立体眼镜观看3D电影,就是双目成像技术的一种表现形式:由于双眼会有视觉差距,从而呈现出立体的画面。在手机领域,配备两颗摄像头阵列,就满足了双目成像技术的最基本要求。

 

双摄手机能干啥

如今几乎所有千元以上的新品都在主打双摄模块(图2),而两颗镜头的组合,也赋予了智能手机在一定程度上侦测物体远近的能力,可以拍摄出具备硬件级背景虚化效果的照片。

 

TOF 3D立体摄像头 02

 

此外,以华为/荣耀手机为代表的品牌,在相机APP中还提供了“3D动态全景”模式(图3)。点击开启后,只要按住快门将摄像头对准被摄物体,然后绕着它沿固定方向移动,松开手即可完成拍摄。

 

TOF 3D立体摄像头 03

 

在相册预览时,我们只要点击照片中对应的3D图标,就能将这张静止的图片变成动态的视频,通过陀螺仪转动手机,或是手指的拖拽移动欣赏拍摄物体的不同角度。总之,在拍摄具备景深信息和3D动态的立体照片,以及时下流行的AR合影和AR萌拍时(图4),双摄手机的表现总会优于单摄手机,而这就是类似双目成像技术背后的功劳。

 

TOF 3D立体摄像头 04

[!--empirenews.page--]

来自光线的困扰

智能手机所武装的标准摄像头能否拍摄清晰的图像,完全取决于环境的光线,过亮或过暗的光线都会造成识别上的困难。就拿时下流行的“面部识别”功能为例(图5),无论手机前置摄像头是1颗还是2颗,其本质上还是2D成像,不仅存在被面部照片或面部视频“欺骗”的风险,在漆黑环境下也将彻底失效。

 

TOF 3D立体摄像头 05

 

为此,很多手机还会额外搭配专用的前置红外补光单元,从而解决漆黑环境下的面部识别难题。比如小米8,就在屏幕的刘海部分添加了隐藏式的红外照明原件和红外相机(图6)。需要注意的是,红外补光单元的加盟,依旧无法解决此类手机属于2D成像面部识别的事实,与iPhone X可以用于安全支付的Face ID不可同日而语。

 

TOF 3D立体摄像头 06

 

换句话说,目前智能手机通过双摄模拟双目成像技术的方案,最多只能算是2.5D,无论是精准度还是对光线敏感度的要求,都还不足以帮助手机进入真正的3D视觉成像时代。

 

3D结构光:距离是死穴

iPhone X是一款里程碑式的产品,它在手机领域首次实现了深度机器视觉技术,依靠名为“结构光技术”的硬件模组,实现了对面部信息采集从2D到3D的进化。

 

浅析结构光技术

简单来说,iPhone X在采集面部信息时,前置摄像头基本就是摆设,而是依靠由红外镜头、泛光感应元件和点阵投影器构成的“结构光模具”(图7)。

 

TOF 3D立体摄像头 07

 

其中,点阵投影器会发射3万多个肉眼不可见的光点投影在你的脸部,绘制出三维建模的立体面谱(图8),红外镜头则会读取这些点阵图案,并将信息发送到A11处理器的安全隔离区进行匹配对照,而泛光感应则是确保识别面部不受环境光线的影响。

 

TOF 3D立体摄像头 08

 

和前文提到的已经逐渐普及的、基于前置摄像头和软件算法实现的2D面部识别方案相比,iPhone X通过结构光带来的Face ID,具备金融级别的安全等级,因此苹果才敢让Face ID在解锁手机之外,还能用于购买应用以及支付Apple Pay。

如今,结构光技术已经不再是iPhone X的专利,小米8探索版、OPPO Find X等手机都先后引入了类似的技术,从而实现了媲美iPhone X的Face ID能力。需要注意的是,小米8探索版的结构光模块暂时只能用来解锁(通过屏下指纹识别用于支付),而OPPO Find X则已支持支付宝刷脸支付的功能。

从技术上来看,iPhone X、小米8探索版和OPPO Find X的结构光模块大致相同,只是在元器件叫法和点阵传感器类型和发射点的数量上存在差异。比如iPhone X将关键元件称为点阵投影器(散斑结构光,可发射3万个识别点)、红外镜头和泛光感应元件;小米8探索版叫点阵投影器(编码结构光,可发射3.3万个识别点)、红外相机和泛光照明元件(图9);

 

TOF 3D立体摄像头 09

 

Find X则称为点阵投影器(散斑结构光,可发射1.5万个识别点)、IR补光灯和IR摄像头(图10)。虽然细节上存在不同,但几款手机在面部解锁的体验上却基本相同。

 

TOF 3D立体摄像头 10

 

结构光技术的缺陷

结构光技术帮助手机进入了3D视觉成像时代,但它的实际应用范围还是相对有限,比如它只能放在手机正面与前置摄像头做邻居,目前比较成熟的方案也就是面部解锁、面部支付、3D美颜以及类似Animojis的3D表情制作(图11)。

 

TOF 3D立体摄像头 11

 

而未来结构光的优化方向则是实现3D静态建模,扫描用户3D头像信息用于游戏、3D视频通话或进行3D打印(图12)。

 

TOF 3D立体摄像头 12

 

此外,结构光的特点是不必获取被拍摄物体的表面纹理,而是将一簇簇的光线投影到物体的表面,进而通过光线采集物体的位置以及三维纵深等信息。然而,正是因为结构光投射的是一簇簇的光线,如果距离过远光线就会发散从而失去识别能力,这也就造成了结构光仅能作用于近距离识别。

无论是iPhone X、小米8探索版还是Find X,只要手机距离面部超过1米左右解锁就会失效。当然,现实中我们手机解锁时距离我们也就是一臂的距离,并不影响结构光的识别,但如果用于更远距离的AR/VR交互就有些不够看了。

 

TOF技术:未来的趋势

TOF(Time of flight,飞行时间测距法)同样是一种用于3D视觉成像的技术,它和结构光一样,都是通过光线进行物体的识别,但二者在底层技术和识别效果方面却存在着极大的差异。

 

TOF技术的原理和优势

TOF技术的原理,就是通过专用传感器,给目标连续发送光脉冲,然后用传感器接收从物体返回的光,最终通过探测光脉冲的飞行(往返)时间来得到目标物距离。和结构光的点阵传感器相比,TOF技术在距离和精度上有了极大的改善:

1、结构光技术发射的是一簇簇的光线,而TOF技术发射的是一整面光线(图13),可以见有效深度信息点从3万个提升到30万个甚至更多。

 

TOF 3D立体摄像头 13

 

用户进行解锁和支付等涉及安全的操作时,TOF技术可带来更精细的深度成像,最大限度提升人脸识别的安全性,做到金融级别的安全保护(图14)。

 

TOF 3D立体摄像头 14

 

2、结构光技术的最佳工作距离为0.2米到1.2米,而TOF技术最佳工作距离为0.4米到5m米(理论最高可达10米),更远的有效距离,可以进一步扩展3D视觉成像应用的范围和潜力;

3、TOF技术的传感器比结构光模块更少更小,成本相对更低,也可以简化手机主板布局,哪怕是仅有屏幕1/3宽度的“刘海”里也足够容纳相关的硬件单元;

4、TOF技术既可以与手机前置摄像头联姻,放在手机的额头位置,也能与手机后置镜头搭档,实现背部三摄的豪华布局。

[!--empirenews.page--]

前置TOF设计方案

vivo曾在2018世界移动大会(上海)中发布了前置TOF方案(图15),并将其命名为“vivo TOF 3D超感应技术”。

 

TOF 3D立体摄像头 15

 

由于TOF的功能与结构光有所重叠,所以前置TOF设计同样可以带来与结构光相似的功能,比如金融级的面部解锁、面部支付、3D美颜、3D表情、3D头像建模等,利用TOF有效距离更远的优势,在应用范围和实际体验上的表现会更好(图16)。

 

TOF 3D立体摄像头 16

 

比如,利用手机将万物(比如自己的头像)建模,再将模型与其他虚拟游戏结合,让玩家自己作为“新世界”的主角,兼顾沉浸式视觉体验与体感操作的乐趣。此外,在购物方面,TOF可以带来更真实和精确的3D试衣效果,无需逛卖场试衣就能放心下单。

 

后置TOF设计方案

OPPO最新发布的R17 Pro属于后置TOF方案的代表,它在后置双摄的上方安装了第三颗镜头(图17,图18),也就是所谓的TOF模块,从而将后置拍照从2D时代推向3D时代。

 

TOF 3D立体摄像头 17

 

TOF 3D立体摄像头 18

 

和前置TOF方案相比,后置TOF自然不再适用于面部解锁和面部支付等功能了,但它在后置镜头的3D美颜、AR装潢、AR游戏、体感游戏、全息影像交互等功能上,却可以带来比前置TOF方案更好的体验。

其中,AR无疑是后置TOF方案的主战场,因为时下大部分AR应用都是使用后置摄像头拍摄真实世界的画面并进行算法识别,然后再进行内容的填充。有了TOF技术加持的后置摄像头,可以将更完美的3D建模填充到画面里(图19),让AR效果更真实。

 

TOF 3D立体摄像头 19

 

理性看待TDF技术前景

对智能手机而言,TOF是比结构光更具前景的3D视觉成像技术,它可以让手机屏幕从单纯的2D画面转变到更具空间感的3D画面,无论是画面的信息还是内容都将兀然增多。通过TOF模块与前置或后置镜头的搭配,还可以让TOF更有针对性地满足具体应用场景的安全和体验需求。

 

TOF 3D立体摄像头 20

 

可惜的是,TOF技术才刚刚进入商业化量产的前期阶段,与其搭配的应用环境还不成熟,所以如今它的玩法还不够丰富,相关手机的售价也谈不上性价比,短期内还是属于偏概念的技术。想让TOF技术真正爆发,还需要等待5G网络的普及,届时TOF搭配更极致的网速和带宽,它将在3D视频通话、远程VR、远程AR、远程JR等泛现实迎来杀手级的体验(图20)。

让我们共同期待吧。