简介
本文介绍了如何开发 Clifford’s Reading Adventures—Scholastic Interactive LLC 面向儿童推出的一套交互式教育游戏。 新款游戏中的沉浸式手势和语音体验是通过英特尔® 感知计算 SDK 2013 来实现的。 我们讨论了结合感知计算捕获儿童手势和音质的新方法、针对 SDK 的故障排除策略以及为支持便携式一体机所做的考量。
图 1. Clifford The Big Red Dog*
教育游戏概念
Scholastic Interactive LLC 是 Scholastic 旗下的公司，是一家全球性的儿童出版、教育和媒体公司。 Scholastic Interactive 的目标是让儿童游戏寓教于乐。 Scholastic 对于使用感知计算和手势技术开发儿童教育游戏这一新领域非常感兴趣，因为这种方式非常直观， 儿童无需学习即可操作。 将感知计算平台与其语音和手势技术相结合，加入 Clifford 与他朋友的冒险故事，能够为 3 岁以上的儿童提供一种简单、自然的方式，让他们与故事材料轻松互动。
在这个由四个交互式单元构成的 Clifford 系列故事中，玩游戏的人可以观看每个冒险故事，使用电脑上的语音和触摸屏功能与故事互动。 故事将请求孩子们通过手势和声控活动用各种方法“帮助” Clifford，从而邀请他们参与其中。
图 2. Clifford's Reading Adventures 菜单
交互式体验学习
在 Clifford中，Scholastic 发现了向其最年轻的读者提供交互式技术的大好机遇，这些年轻读者能够真实地看到 Clifford 对他们的声音和动作做出反应。 在精彩的故事情节中，儿童观看每个冒险故事的动画片段，通过触摸或口头说出答案来与人物角色及其活动进行积极互动。 儿童在玩采用触摸和手势功能的游戏时还可加快故事情节的进度。 每个游戏基于早期核心读写技能，可根据需要多次重复。
英特尔感知计算 SDK 2013 可提供 API、样本和教程，为体验游戏的儿童解释使用应用中的手势和声音所需的传感器。 语音识别、近距离手和手指跟踪、面部分析、增强现实和背景减除等 SDK 的核心功能支持软件开发人员将这些功能与最新的平板电脑、英特尔超极本™ 电脑和一体机上的应用快速集成。 使用麦克风、摄像头、触摸屏以及方向和位置功能（现常用与平板电脑、变形笔记本电脑和一体机），开发人员能够构建沉浸式效果更强的应用。
图 3. 英特尔® 感知计算软件开发套件
开发团队
Scholastic 就游戏概念、交互式活动和主要的儿童易用性问题面试了许多开发团队。 最终，Scholastic 选择了与 Symbio合作，因为他们的团队曾开发并实施过手势和语音识别，而且他们在儿童教育、游戏和易用性方面拥有丰富的经验。
使用英特尔® 感知计算平台进行开发
根据儿童的动作、手势和声音调整感知计算技术面临几大挑战。 Scholastic 的一般流程是对每种模型进行广泛测试，从而了解游戏设计是否适当以及游戏等级是否能实现。 该测试可帮助团队确认测试玩家（目标年龄儿童）遇到的挑战，这样便可设计和开发适合此年龄段的解决方案。
在开发阶段中有几个方面需要感知计算开发人员特别注意。 以下是从 Clifford 应用开发中得到的一些要点。
校准语音识别
语音识别需要多步校验和过滤才能够提供可接受的性能级别。 由于随着儿童的成长其声音会不断发育，尤其是 Clifford系列故事的年轻目标受众，因而应确保对语音识别进行精确校准，以辨别儿童声音和语言模式的细微差别。
图 4. 使用语音识别功能的游戏屏幕
验证并锁定手势
Clifford’s Reading Adventures中的一个游戏要求孩子帮助 Clifford 接住从“玩具树”上掉下来的玩具。 还是用手抓住屏幕上的篮筐，然后向左右来回移动来接玩具。
图 5. Clifford 的玩具树
开发人员添加了算法检查，因而能够验证手势并将其与玩家的手锁定在一起来控制篮筐，因此它能够根据儿童的手势做出移动反应。 在测试阶段期间，年轻的玩家能够高度参与，尽兴游戏，并能很好地对接玩具计时。 在测试之前，在开发实验室中进行实验时，开发人员误认为儿童对接玩具的控制与成人评估者一样。 研究儿童手势的特点为开发人员带来许多学习机会，这要求他们重新思考游戏的设计，以满足低龄儿童手势不够精确这一特征的要求。 儿童的动作较大且通常不太稳定，这带来的动作噪音对于精确捕获是很大的挑战，因为传感器很难识别并解释复杂的多重动作。 其次，建立手势模型并重复操作需要细心和适度才能达到高质量的体验。 适应儿童手势需要扩宽动作捕获区域，这样，即使手势不精确，也可以识别动作并激活所需的响应。
例如，在另一个迷你游戏中，玩家需要帮助 Clifford 从菜园里拔杂草。 开发人员没有让儿童把手伸到杂草中抓住，然后抬起手来将其拔除，而是切换为攥手/伸手的动作来象征抓草和把草丢掉。 为适应儿童的发育能力和动作而做出的变动让游戏更为成功。
图 6. 孩子使用手势帮助 Clifford 清除杂草
以下是游戏教程中用来调整玩家手势的代码，该代码会请求用户移动双手和旋转球体。 在图 7 显示的游戏中应用一些 “//exponential smoothing” 能够支持玩家更好地控制和轻松地运动。 滤波（smoothing）措施可帮助消除或至少减少游戏应忽略的玩家做出的出乎意料的动作。
图 7：球状物旋转屏幕
图 8：球状物旋转教程代码示例
排除英特尔® 感知计算软件开发套件的故障
使用 SDK 创建的沉浸式体验可支持游戏即时对玩家的动作做出响应。 这让玩家感觉到自己正在亲身实践游戏。 但是，摄像头追踪复杂手势的功能以及识别儿童发出的特定响应的语音检测功能仍有一些限制。
手势
感知计算的摄像头的捕获范围在距离其约 2-3 英尺的区域。 由于摄像头和对象之间的距离较短，研究人员和开发团队发现，简单的动作和小幅手势比大幅运动或复杂动作有效，后者可能会超出摄像头的范围。
我们需要通过试错法来确保手势按照需要使用。 开发团队需要注意不同的环境条件、光照以及与摄像头的距离。
根据 SDK、API 和技术，能够轻松启用基本手势，因为 SDK 中已包括了教程、示例代码和结构。 完成开发环境的设置后，您可以参照一个教程（如手指追踪示例）进行操作，以探索配合 SDK 一起使用的“传感器 - 代码”关系。
图 9. 英特尔® 感知计算软件开发套件 2013 中的手势“传感器 - 代码”关系
开发人员发现 SDK 不包含手势所需的各种坐标系。 因此，他们不得不自己找出如何让它们通过试错法。
图 10：手势坐标图像
团队最初使用 “node[8].positionImage.x/y” 方法，放弃深度信息，因为实施的手势不需要该信息。 后来，团队发现了一个更好的办法。 他们使用深度图像，搜索最近的像素以帮助有效捕获手势。 然后，他们添加了大量的滤波，以同时改进手势检测。
语音识别
游戏的语音识别功能很大程度上受到设备和场景的影响；语音识别在某些设备和情况下能够使用，但在其他设备和情况下却完全无法使用。
在游戏中，必须提示儿童重复适当的命令，这些命令通过麦克风收集。 我们需要达到准确识别 — 即使有背景噪音和游戏音乐。 语音识别可在语音检测模式下使用，用于检测您的说话内容；也可在词典模式下使用，用于检测说话内容与词典的匹配情况，用户可在游戏中对此进行定义。
首先，团队尝试了检测模式，并对其进行配置以接收任何可接收的噪音，因为幼童有时吐字不清。 但是，这没有达到预期效果。 然后，团队使用了词典模式，这在清晰的场景，即吐字清楚的情况下效果良好。 团队尝试加入词语变量，以允许接受更多的词 — 即使在吐字不清的情况下 （卖、麦、买、爱）。 但是，词典模式效果不大，因为关键词的数量越多，就越容易出现错误或失配的情况。 开发人员必须在可接受的关键词和潜在错误率之间找到一个平衡点。 在最后的应用中，团队尽量将可接受词语减到最少，以便孩子更简单地交互。
屏幕尺寸至关重要 — 一体机感知
随着触摸屏制造能力的提高，市场上出现了更大的屏幕。 屏幕尺寸扩展是 Clifford’s Reading Adventures 要展示的另一领域。 许多大型屏幕集成到一种电脑 — 一体机 (AIO) 中。
一体机由显示器（18 至 55 英寸）和构建于屏幕后方的主板构成。 它们包括高性能处理器、全高清 (HD) 分辨率 (1080p/720p) 和蓝牙* 无线键盘和鼠标，支持内置高容量电池，因而具备出色的便携性。 AIO 是 PC 中发展最快的类型之一。 其广泛普及的重要原因是 AIO 能够为您提供 PC 可提供的所有功能 — 追踪家庭开支、做作业、玩互动游戏、上网、和朋友聊天以及看电视和电影。
许多新款 AIO (pAIO) 还能够灵活添加多种功能。 pAIO 设备支持游戏和应用开发人员充分利用大屏幕空间、高性能联网能力和多点触控用户界面 (UI)，将全部功能集成到一台纤薄、便携的设备中，并在倾斜和平面两种模式下使用。 内置电池可确保体验的连续性，内置无线网络支持从一个起始位置向其他位置移动。 大型 HD 显示器采用高端图形处理器，并可提供全面的多点触控用户体验 (UX)。 上述特性可帮助开发人员摆脱单用户移动设备的限制。
Clifford 开发人员看到玩家在大尺寸屏幕上玩自己的游戏感到非常兴奋，因此他们确保其游戏能够在 1920x1080 屏幕分辨率上运行良好。
总结
在开发测试过程中，该团队非常开心。 此外，通过对目标受众（儿童）做用户研究，该团队还获益良多。 我们不仅从此结构化测试中得到许多帮助，还从我们的家庭获得了大量帮助，看到家人操作最终设计出来的游戏是我们最大的嘉奖。 一位我们的高级开发人员把它带给其三岁的女儿玩，他告诉开发团队，这款游戏非常吸引她，她非常开心！ 胜利！
图 11：Clifford 和快乐的小伙伴
Scholastic 团队对于能够在更多游戏中使用该技术感到非常兴奋。 Scholastic 与 Symbio 正在合作开发一款采用英特尔® RealSense™ 3D SDK 的新游戏，并计划于 2014 年秋季推出。
图 12：该款游戏全面上线
英特尔® Real-Sense™ 技术
英特尔® RealSense™ 技术首次发布于 CES 2014，是英特尔® 感知计算技术的新名称和品牌，是一款直观的用户界面 SDK，包括语音识别、手势、手和手指追踪以及面部识别等英特尔于 2013 年推出的功能。 借助英特尔 RealSense 技术，开发人员将会获得额外功能，包括扫描、修改、打印和以 3D 形式共享，以及增强现实接口中的主要优势。 使用这些新功能，用户能够使用高级手感应和手指感应技术自然操作扫描的 3D 对象。
参考资料和相关链接
- 基于 Windows* Store 的 Clifford’s Reading Adventures 游戏： http://apps.microsoft.com/windows/en-us/app/cliffords-reading-adventures/5e2aa35b-0603-4330-b8ab-97b4db1a4bde
- Scholastic Inc.： http://www.scholastic.com/home
- Scholastic 媒体： http://www.scholastic.com/aboutscholastic/scholasticmedia.htm
- Symbio： http://symbio.com/
- 英特尔® RealSense™ 技术： http://www.intel.com/content/www/us/en/architecture-and-technology/realsense-overview.html
- 英特尔® 感知计算软件开发套件 2013： https://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk
- 利用增强现实以数字的方式讲故事 — 书本只是开始： https://software.intel.com/en-us/articles/digital-storytelling-with-augmented-reality-the-book-is-just-the-beginning
- Scholastic 和英特尔联合提供的新游戏体验： http://kidscreen.com/2014/01/07/scholastic-and-intel-partner-on-new-gaming-experience/
- IdentityMine 助力解决为便携式一体机平台开发游戏的难题： https://software.intel.com/en-us/articles/case-study-identitymine-tackles-game-development-for-the-portable-all-in-one-platform
- NOMAD 应用利用 Windows* 8 和英特尔® 一体机平台增强 AWEsum! 体验： https://software.intel.com/en-us/articles/case-study-nomad-apps-leverages-windows-8-and-the-intel-all-in-one-platform-to-enhance-the
关于作者
Tim Duncan 是一位英特尔工程师，被朋友们成为“Gidget-Gadget 先生”。 Tim 目前负责帮助开发人员将技术集成至解决方案，他在芯片制造和系统集成领域有着数十年的经验。 如欲对其有更多了解，请访问英特尔® 开发人员专区：Tim Duncan （英特尔）。
声明
Scholastic Interactive LLC 提供的源代码提供了一个模型策略，可帮助在 Windows 8 平台上使用英特尔感知计算技术的应用获得指数平滑（exponential smoothing）功能。
Scholastic 示例源代码许可 版权所有 (c) 2014， Scholastic Interactive LLC。 代码适用于 Clifford’s Reading Adventures 1.0 游戏中包含的指数平滑功能（“样本代码”）。 所有权保留。 在满足以下条件的情况下，允许以样本代码的源码和二进制形式进行再次分发或使用（作修改或不作修改）：
此软件由版权持有者和献助者按“原样”提供，绝不提供其他任何明确或隐含的担保（包括，但不限于，商品适销性和或适用于特定目的适用性的担保）。 在任何情况下，版权持有者或 献助者对使用本软件而以任何方式产生之直接的、间接的、事故性的、特殊的、惩罚性的或后果性的损失（包括，但不限于，购买替代产品或服务，使用、数据或利润的减少，或者业务中断）概不承担责任，不论损失是如何造成的及根据任何责任理论（无论是按合同法、严格责任或侵权 - 包括疏忽或其它 -），即使事先被告知这种损失的可能性。 为避免疑义，本协议下所授予的权利仅限于上文中的特定软件，英特尔不授予该示例代码用户 (A) 构成或嵌入 THE CLIFFORD’S READING ADVENTURES 游戏的任何其他源代码或二进制代码，或其他软件或工具；或者 (B) 版权所有人或其附属机构的任何其他知识产权的任何许可或权利。 |
Clifford Artwork © Scholastic Entertainment Inc. CLIFFORD THE BIG RED DOG 及相关标识是 Norman Bridwell 的商标。 所有权保留。
英特尔、 Intel 标识和 RealSense 是英特尔公司在美国和/或其他国家的商标。
版权所有 © 2014 年英特尔公司。 保留所有权利。
*其他的名称和品牌可能是其他所有者的资产。