Nazmus Saquib是麻省理工学院的一名博士生。他与Adobe研究院的研究员们就如何运用新媒介更好的展示教学内容、帮助教师提高课程吸引力开展了一项技术试验。

发起这个实验项目的初衷，是Saquib想改变教师在授课中总照着PPT干巴巴念着板书的模式。受到AR增强现实的启发，拥有人工智能开发和机器深度学习背景的Saquib和团队想要将“肢体语言”引入一项交互式演示的系统中，辅助教师更好的将知识可视化、生动化的展现给学生，他们将此开发系统命名为Interactive Body-Driven Graphics for Augmented Video Performance，简称为AR实时交互式系统。

• 技术层面：基于AR的实时交互系统

这个系统可以让用户独立设计互动方案和原创故事，让用户在不同的场景里用自然的肢体动作和姿势操控图表元素。

使用该系统，老师会和现实场景（课堂）中不存在的事物同时出现。老师还必须是“戏精”本人，在现场使用肢体动作和姿势实时操控这些图表信息，真正达到“声情并茂”的演绎出教学内容的目标。

与图文互动，除了让学生们觉得老师上课新颖有趣、知识点更好理解外，也让教师们将图文、声音、语言和肢体动作等多重传递信息的方式相结合，极大的帮助他们更好的表达信息。

这个系统让我们看到了除幻灯片外，还有更具互动性与趣味性的工具可被教师在上课时使用。这款工具还打破了传统AR程序前期编程后期无法更改的特点，提供实时增强现实的特效。

• 操作层面：像做PPT一样，操作简单易上手

Saquib说只要教师会做PPT，并通过简单的培训，就可以自主掌握这款AR交互系统。他展示了他是如何使用这款工具做到用户设计交互表达并讲好一个故事的。

教师在打开系统后，会看到这个人形的大框架。蓝色的“人架子”上，每一个圆点代表着人体可移动关节的19支点，如：头、颈、肩、肘、手、腰、腿部关节等。右边是Saquib用鼠标画出来的一把雨伞，他还向系统导入添加了云和雨滴，用于辅助教学的图像元素。导入的过程就像PPT导入图片一样简单。

接下来，Saquib想要在演示时用自己的左手撑伞。要完成这一套动作，只要拖动鼠标，找到“左手”支点，将“左手”与“雨伞”相连即可，相连的位置也是可以设计的。

在雨伞旁边，会出现五个黄色的小图标，这些小圆圈代表了该图像元素本身将如何运动：从上到下依次代表了：移动、旋转、改变透明度、变大变小和速度。这些功能是Saquib和团队成员们通过对演讲者演示时行为的研究得到的最常用的五种形变方式。

此外，系统中还预设好了一些手势的“快捷方式”，帮助教师用简介的动作完成会重复出现的高频互动反应，如“食指指向”选定后，“双手竖起大拇指”控制图表保持固定，“手部左右摆动”控制方向移动，摆动控制图表摆动等。

• 项目亮点：虚拟画面“实时反馈”，创新信息传递模式

虚拟画面现实场景中“实时反馈”是Saquib团队AR实时交互系统的亮点。

通过深度学习（machinelearning），即利用人工智能将人类行为动作的数据收入到数据库中，Kinect就可以感知并识别演示者动作的目的。当Saquib举起手指向斜上方时，一个图表就会出现在视频上， Kinect会迅速反应并判断“操作者”做出这一指令动作的目的，将之前设置好的图表信息实时显示到屏幕上。

比如这个航海的舵盘，当屏幕上的Saquib握着舵盘“航行”的时候，图表信息会随着Saquib的移动而做出变化。

这就是Saquib一直强调的关键词“实时”互动。这款工具的亮点和特色正是在视频中实时显示增强现实的AR画面，现场配合教师，完成一场自定义的“表演”。

走进麻省理工Media Lab，看AR技术如何改变课堂教育？

这部六分钟的短片总共花了两年时间制作，通过众筹集资。它展示了一个讽刺又挑衅的世界，在那里数字不仅仅出现在我们的屏幕上，而是像虚拟镀层一样环绕在我们身边。视频从主角的视角进行拍摄，画面拍摄于哥伦比亚的麦德林，有点像是实时动态谷歌，哪怕逛个超市也会发现各种各样的数字表演：邮件、对话框、虚拟广告、唱着歌的水果、电子宠物纷纷冒出来。这种爆炸的体验有点像是你第一次走进电子游戏厅，闪动的视觉和电子音效扑面而来。

我们靠游戏积分在未来的 AR 世界里存活