游戏开发人员不断地打破技术限制,要求游戏具备更快的处理速度和更高的图形质量。 随着这种趋势的发展,配备英特尔® 实感™ 3D F200 摄像头的笔记本电脑和平板电脑不断革新着用户与游戏和设备之间的交互方式。 借助英特尔实感技术,开发人员将复杂的手势控制方法融入游戏之中,包括手部追踪、面部分析和语音指令。
CompSens 开发的 Space Astro Blaster(星际战舰)*就是这样一款游戏,它首次亮相于 2014 年国际消费电子产品展(内华达州拉斯维加斯)。 这款电脑游戏基于单一战舰和单一场景构建而成,是关于集成英特尔实感 SDK的概念验证,支持玩家在不使用键盘和鼠标情况下进行游戏控制。 成功演示手势控制方法后,CompSens 将其开发成完整的 Space Astro Blaster 游戏,不同的战舰、敌人和等级融合在一起,充分利用英特尔实感 SDK 创造以前的平台所无法提供的浸入式手势控制体验。
图 1:3D 星际射击类游戏 Space Astro Blaster* 的游戏预告片,
采用英特尔实感 SDK 开发而成。
Space Astro Blaster是一款第三人称星际射击类游戏。在游戏中,玩家操控战舰对抗敌人更强势的攻击,从被动的小行星到威力无比的大型敌舰。 玩家通过手部和头部动作在 3D 太空中移动战舰,在行进的过程中躲避障碍物,强化武器,射击敌舰。
所有游戏控制功能都可在不使用键盘或鼠标的情况下完成。 借助集成的手势识别技术,玩家只需在空中小幅度地舞动手,就可在任意方向移动战舰(向前,向后、平行,甚至移入或移出屏幕)。 这项功能为玩家提供了六个控制轴,无需使用控制器。 手指活动也可识别,合上手指表示持续发射主炮,而把食指和中指比划成 “V” 字形手势表示发射大型导弹(图 2)。
借助英特尔实感 SDK 支持的手势识别特性,游戏可检测 V 形手势并触发导弹发射事件。 为识别基本的发射手势,游戏采用算法(基于英特尔实感 SDK 的关节追踪输出数据)评估手指的弯曲,以实时确定手势的开合状态。
借助英特尔实感技术实现优化
借助英特尔实感 SDK 和英特尔实感 3D 摄像头,CompSens 等游戏开发商可将手势控制集成至各种应用和场景。 Space Astro Blaster充分利用了手部追踪,手指追踪和基本面部分析,以将独特的控制方式完美融入游戏。
手部追踪
手部和手指追踪可利用 22 个追踪点,同时识别静态手势和动态手势(比如挥手)。 CompSens 使用集成了英特尔实感 SDK 的算法查找和追踪特定手势(图 3),以支持武器发射。
张开手 = 朝 6 个轴方向自由移动,不射击武器
V 形手势 = 发射导弹
合上手 = 在自由移动过程中发射主炮。
图 3:手势控制
挥手和基本姿势可用于朝 6 个控制轴方位移动战舰 — 向上、向下、向左、向右、向前、向后 — 并支持玩家移动战舰完成飞行任务(图 4)。 结合使用姿势与手部和手指追踪有助于打造非常直观和极具乐趣的游戏风格。
图 4:挥手和基本姿势可用于向上、向下、向左、向右、向前以及向后移动战舰。
面部分析
在特定游戏部分,面部分析可用于头部追踪,以测试玩家驾驶战舰躲避来犯障碍物的能力。 只需将身体向左或向右偏移,玩家就可将战舰移动至相应的方向(图 5),从而进一步增强游戏的真实性。
英特尔实感 SDK 可集成即开即用型手势和姿势检测,从而帮助 CompSens 简化开发流程。 SDK 支持游戏开发人员追踪自然界面方法,这样开发人员可集中精力将手势融入游戏和用户界面,而非进行图片识别与处理,以有效测量和报告手势输出。
决策和挑战
创建游戏时,开发人员需要了解目标平台的功能以及所需的识别模块。 CompSens 表示,为了在进行手势识别的同时保持高性能和低延迟,特定游戏实例中不使用的模块均处于禁用状态。 例如,在标准游戏玩法中,需采用面部识别模块专注于头部识别,这样会增加软件的复杂性,导致性能较低的平台出现性能问题。 为解决这一问题,CompSens 仅在障碍物躲避阶段启用面部识别部分;并同时禁用手部识别模块,以保持功能与性能之间良好的平衡。
不仅英特尔实感 SDK 可提供多种识别模块和算法,英特尔实感软件还有助于提高开发人员的灵活性。 例如,CompSens 创建并调整了特定的手势识别通道,以提升针对特定手势的性能。 其中一项是识别基本发射手势,“合上手”。 最初使用的是英特尔实感 SDK 中的手势识别模块;但该模块有时无法识别手势,导致基础大炮无法连续发射,尤其是用户快速移动手部的时候。 因此,CompSens 将针对该手势的识别策略改成了他们自己的算法,后者基于英特尔实感 SDK 每帧的手部追踪关节数据评估手指的弯曲,以实时确定手指的开合状态。 得益于英特尔实感 SDK 的模块化性质,这种更新非常易于集成。
对于基于移动设备实施英特尔实感 SDK 的实例来说,禁用和关闭英特尔实感 3D 摄像头有助于缩短计算周期和节约能耗。 在菜单中或不需要分级负载期间禁用摄像头有利于平台节能,从而可延长电池续航时间支持游戏畅玩和其他办公任务的处理。
测试
采用新界面方法 — 以及向玩家介绍游戏交互方式所带来的潜在问题 — 开发人员可能认为需要对正常测试流程做出调整;但 CompSens 表示,他们的应用测试根本无需如此。
按照常规软件开发过程,Space Astro Blaster 团队将游戏摆在玩家面前,观察他们的交互方式,并在游戏测试后听取他们的反馈。 当然,由于用户测试不同于采用传统输入方法时的要求,对应用做出了细微调整,但测试与验证流程与之前的项目基本相同。 不久前,他们发现,全新输入方法会造成手部疲劳问题:用户需持续举手以便在游戏中保持战舰的飞行状态。 为解决手部疲劳问题,他们为游戏过程设计了两种控制模式:一种是手势控制,以对抗外来敌舰,另一种是头部运动,以控制战舰和躲避小行星。 这两种控制模式可交替使用,从而缓解玩家的手部疲劳。
英特尔工具和支持
由于自然手势识别领域尚未十分成熟,英特尔构建了实感 SDK 和软件开发项目,以提升开发商(比如 CompSens)的集成体验。 在 Space Astro Blaster开发过程中,CompSens 获得了英特尔的现场支持,团队与公司携手,共同攻克了英特尔实感 SDK 启动问题,算法集成问题,以及直接针对 Space Astro Blaster构建的自定义识别路径。
面向开发商的软件包还具备一项关键特性:在线记录。 速览英特尔实感 SDK 支持页面,了解参考文档、版本说明和培训指南(以视频、演示和网络研讨会形式呈现)。 英特尔提供了参考设计指南,以帮助开发商正确掌握不同全新用户界面方法的集成。
英特尔实感 SDK 支持培训页面还提供示例代码,列于“教程”部分。 如果示例代码可解决开发商正试图解决的问题,只需提取和放置即可,否则,需要通过随代码集一同提供的行内文档进行调整和扩展。
英特尔还通过在消费电子展(拉斯维加斯)等贸易展和英特尔开发人员论坛(旧金山)上展示游戏的早期开发阶段,为 CompSens 的 Space Astro Blaster开发提供帮助。 这些机会有助于媒体和 OEM 与该游戏互动,更多地了解可变革玩家与计算机的交互方式的英特尔实感技术,并在该领域宣传 space-based shooter。
展望未来
在集成英特尔实感 SDK 和游戏平台方面,CompSens 仍面临很多机会。 他们希望使用英特尔实感 SDK 的 3D 面部建模和集成特性,以帮助玩家创建游戏内 3D 面部模型。 这些模型可用作特定战舰的图标,或集成至战舰的机舱成为玩家的替身,从而增强 Space Astro Blaster的浸入式体验。
随着计算机和软件复杂性的不断增强,用户需要更加自然的人机交互方式。 能够使用手势、语音和运动将不仅成为大受欢迎的变革,而且将成为计算生态系统的必要条件之一。
关于 CompSens
CompSens,总部位于中国北京,致力于开发虚拟现实和增强现实软件解决方案。 专注于为专业人士和消费者领域开发自然交互软件,自然而然,团队开始通过游戏开发了解英特尔实感 SDK 所提供的全新用户交互方法。 目前,CompSens 正计划进一步实现英特尔实感 SDK 与 Space Astro Blaster游戏的集成,还计划将逼真的用户界面集成至其他即将启动的软件项目。
其他资源
英特尔实感开发人员专区
英特尔实感 3D 摄像头
案例研究Space Between* Plumbs Ocean Depths with Intel RealSense Technology