撰稿人:Cappasity 公司的 Konstantin Popov
Cappasity两年来一直在开发三维扫描技术。 今年我们将要发布一款面向采用了英特尔® 实感™ 摄像头的超极本™ 设备和平板电脑的扫描软件产品: Cappasity Easy 3D Scan*。 明年我们计划创建硬件和软件解决方案,来扫描人体和物体。
作为英特尔® 软件创新者,在英特尔® 团队的帮助下,我们受邀展示人体扫描系统的原型,而这比我们的计划大大提前。 我们的准备时间有限,但我们仍然决定接受挑战。 在本文中,我将解释我们如何针对 8 月 18-20 日在旧金山召开的 2015 年英特尔® 信息技术峰会,创建我们的演示。
我们的演示基于以前开发的技术,在单一扫描系统中组合了多项深度摄像头和 RGB 摄像头(已申请美国专利)。 一般概念如下:我们校准摄像头的位置、角度和光学属性。 这种校准使我们能够合并数据,用于随后的三维模型重建。 为了拍摄三维场景,我们可以将摄像头置于场景周围,围绕场景旋转摄像头,或在摄像头前旋转场景本身。
我们选择了英特尔® 实感™ 摄像头,因为我们相信它是针对我们 B2B 项目的最佳性价比解决方案。 目前,我们正在开发两款使用多种英特尔® 实感™ 摄像头的原型系统:一个采用多种三维摄像头的扫描装置,用于即时扫描;一个系统,用于全身人体扫描。
我们在 2015 年英特尔信息技术峰会上展示了两个原型。 人体扫描原型在为期三天的大会上的运行非常成功,对莅临我们展台的许多参观者进行了扫描。
现在让我们看看它是如何工作的。 我们将三款英特尔® 实感™ 摄像头连接到了一个垂直杆,以便底部摄像头对准脚部和小腿,中间的摄像头捕捉腿部和身体,最上面的摄像头拍摄头部和肩部。
每款摄像头均连接到一个不同的英特尔® NUC 计算机,所有计算机都与局域网相连。
由于这些摄像头安装在了固定杆上,我们使用旋转台来旋转被拍摄的人。 此旋转台很基本:一个 PLEXIGLAS* 垫、滚轮轴承和一个步进电机。 此旋转台通过英特尔® Edison开发板连接 PC;它通过 USB 端口接收命令。
我们还使用了一个简单的照明系统,以稳定照亮被拍摄人的前方。 未来,所有这些组件都将内建于单一设备中,但目前我们只是展示了该扫描系统的早期原型,因此我们需要使用商用组件装配一切。
我们的软件基于客户端-服务器架构运行,但服务器部件可在几乎任何现代 PC 上运行。 也就是说,任何执行我们计算的计算机均是我们系统中的一台“服务器”。 我们通常使用拥有英特尔® 高清显卡的普通超极本® 作为服务器。 这种服务器可发送记录命令到英特尔® NUC 计算机,再从计算机获取数据,然后分析并重建三维模型。
现在,让我们看看我们尝试解决的任务的一些特殊方面。 我们在 Cappasity 产品中使用的三维重建技术基于我们对 Kinect* Fusion算法的实施。 但是在这种情况下,我们的挑战要复杂得多:我们只有一个月的时间来创建算法,以重建多个来源的数据。 我们称之为“Multi-Fusion”。 在其当前状态下,此算法可将无限数量来源的数据合并到单一像素体中。 对于扫描人体,三个数据来源足矣。
校准是第一阶段。 Cappasity 软件允许成对校准设备。 从我们进行研发那年开始,我们便展开研究,着手为 2015 年英特尔信息技术峰会进行准备。 在短短几个星期,我们重写了校准程序,并在 Fusion 中实施了像素体支持。 以前,校准流程更多地涉及处理点云。 该系统只需在安装了摄像头后校准一次。 校准不超过 5 分钟。
然后我们必须拿出一种数据处理方法,经过一些研究后,我们选择进行后处理。 也就是说,首先我们记录下来自所有摄像头的数据,然后我们通过网络将数据上传到服务器,之后再开始重建流程。 所有摄像头可记录颜色和深度流。 因此,我们有完整的数据投入供进一步处理。 考虑到后处理算法在不断改善,这很方便,而且我们正在使用的那些算法是在召开 IDF 前的短短几天写完的。
相比英特尔® 实感™ 摄像头 (F200),英特尔® 实感™ 摄像头(长距离 R200)采用黑色和复杂材料发挥更出色。 我们在追踪方面存在一些小问题。 然而最重要的一点是,此摄像头使我们能够在规定的范围内捕捉到图像。 我们优化了 Fusion 重建算法,以便 OpenCL* 即便在英特尔® 高清显卡 5500 及更高版上也能实现出色性能。 为了消除噪音,我们在组成单一网格后,使用了 Fusion 及额外的数据分割。
此外,我们已经完善了高分辨率纹理映射算法。 我们采用以下方法:我们以彩色摄像头的全分辨率捕捉图像,然后我们将此图像投影到网格。 我们不使用像素色彩,因为它会导致纹理质量降低。 投影方法非常复杂,难以实施,但它使我们能够同时使用内建和外部摄像头作为颜色源。 例如,我们正在开发的扫描设备使用 DSLR 摄像头运行,来获取高分辨率纹理,这对我们的电子商务客户非常重要。
然而,即便是采用 RGB 的内建英特尔® 实感™ 摄像头也可提供完美的色彩。 以下是映射纹理后的示例:
我们正在开发一种新算法,以消除纹理转换。 我们计划发布 Easy 3D Scan 软件产品,以加以完善。
我们看似简单的演示是基于复杂的代码,这使我们能够与价格超过 10 万美元的昂贵扫描系统相匹敌。 英特尔® 实感™ 摄像头经济实惠,将有助于他们彻底改变 B2B 市场。
以下是我们人体扫描系统的优势:
- 这是一款经济实惠的解决方案,它易于设置和操作。 只需按一下按钮即可。
- 小尺寸:该扫描系统可以放置在零售区、娱乐中心、医疗机构、娱乐场等地方。
- 三维模型的质量适合三维印刷和开发用于 AR/VR 应用的内容。
- 所得三维网格的精确度适合进行测量。
据我们了解,英特尔® 实感™ 摄像头的潜力尚未得到全面开发。 我们相信,在 CES 2016 展会上,我们将能够展示显著改进的产品。