智能空间:和谐的人机交互环境

智能空间是研究和谐人机交互原理与技术的典型环境，智能空间的应用价值还可以直接体现在其具体用途上，如智能会议室、作战指挥室、智能教室、能照料人的智能家居等，本文将对智能会商室进行重点介绍。
智能空间（SmartSpace）是嵌入了计算、信息设备和多模态的传感装置的工作或生活空间，具有自然便捷的交互接口，以支持人们方便地获得计算机系统的服务。人们在智能空间的工作和生活过程就是使用计算机系统的过程，也是人与计算机系统不间断的交互过程。在这个过程中，计算机不再只是一个被动地执行人的显式的操作命令的信息处理工具，而是协作人完成任务的帮手，是人的伙伴，交互的双方具有和谐一致的协作关系。这种交互中的和谐性主要体现在人们使用计算机系统的学习和操作负担将有效减少，交互完全是人们的一种自发的行为。自发（spontaneous）意味着无约束、非强制和无须学习，自发交互就是人们能够以第一类的自然数据（如语言、姿态和书写等）与计算机系统进行交互。
当前，普适计算（Pervasive Com-puting）是计算技术研究和应用的热点，而自发交互是普适计算脱离桌面计算交互模式束缚的关键问题，具有重要的研究价值，智能空间成为研究和谐人机交互原理与技术的典型环境。
认识智能空间
普适计算将使计算和信息服务以适合人们使用的方式普遍存在于我们的周围，以往相互隔离的信息空间和物理空间将相互融合在一起。在这个融合的空间中，人们可以随时随地、透明地获得计算机系统的服务。普适计算中信息空间和物理空间的融合可以在不同尺度上得到体现，其在房间、建筑物这个尺度上的体现就是智能空间。
NIST（美国国家技术标准研究院）给出的智能空间具备的功能和为用户提供的服务包括:
● 能识别和感知用户以及他们的动作和目的，理解和预测用户在完成任务过程中的需求;
● 用户能方便地与各种信息源（包括设备和数据）进行交互;
● 用户携带的移动设备可以无缝地与智能空间的基础设施进行交互;
● 提供丰富的信息显示;
● 提供对发生在智能空间中的经历的记录，以便在以后检索回放;
● 支持空间中多人的协同工作以及与远程用户的沉浸式的协同工作。
有学者指出，将来不太可能存在一个全球统一的普适计算系统，而会存在许多因为管理区划、地域区划和文化区划而互相分离的、有明确边界的智能空间系统。这些智能空间系统间可以有一定的交互，人和各种可携带设备可以透明地在它们之间移动。
智能空间的特点
目前国际上对智能空间的研究开展得相当广泛，表明了智能空间在普适计算研究中的重要作用。这些研究计划中，智能空间以不同的应用形态展现出来，并被分别赋予了研究者希望中的普适计算的特性，对这些研究计划的分析，能够分析出智能空间的三个主要特征和三个发展阶段。
首先，处于计算环境中的计算设备不再像在桌面计算模式下，要求用户端坐在计算机前或者处于某个固定位置才能完成计算任务。大量的计算设备、多模态交互技术模块、情景感知（contextawareness）模块被嵌入并隐藏在实际的物理环境中,这些模块需要能互相协作并能主动为用户提供服务，使得智能空间能拥有立体、连续的交互通道。例如一个智能书房能检测到用户在其中阅读书籍，它可能会打开窗帘来为用户提供足够的照明;随着时间的推移，夜幕降临，智能书房还可能根据当前的光照条件，逐渐加强房间中的灯光照明。
其次，智能空间的一个重要特性称为游牧服务（cyberforaging）。它是指用户携带入空间的无线手持设备可以充分利用其周围基础设施中的相对较强的设备的能力，同时其上运行的模块也可以与空间中的其他模块进行交互和协作，以共同为用户提供增强的服务。这也是信息空间与物理空间融合的一个体现。这种融合使得空间距离对计算的含义与传统分布式计算正好相反。传统的分布式计算是试图用网络消灭空间距离，而智能空间是强调找到离用户最近的各种资源和服务。反过来，基础设施也应该能够利用用户所携带的移动设备的功能，为用户提供个性化或者增强的服务。例如，当用户甲在一个智能会议室开会时，系统检查到乙给甲发了一个重要的E-mail，并希望甲马上能阅读其内容。智能会议室则应该根据当前的情景（在开会）以及甲所携带的移动设备（手机或者PDA）做出判断，将此E-mail转发到手机上，并通过震动提醒甲，而不是通过会议室的大屏幕显示出来。而如果只是甲单独待在智能会议室，该E-mail则可经由声音提示，显示在大屏幕上。
作者简介:史元春
清华大学计算机系教授，系学术委员会副主任，人机交互与媒体集成研究所所长，兼任中国计算机学会理事、普适计算专业委员会主任、IEEE北京分会教育委员会主席。曾在MIT人工智能实验室作高级访问学者。主要研究方向为人机交互、分布式多媒体信息处理、普适计算、远程教育。
最后，不同的空间之间也应该能够自发地发生交互。当一个空间的资源无法满足用户的需要时，智能空间应该根据用户的要求向临近的空间发出请求来完成用户的任务。例如，处于智能空间用户需要打印一张彩色图片，由于该空间中只有黑白打印机，智能空间可能会拒绝用户的请求并告诉用户任务无法完成。但是，如果智能空间发现在附近的环境中存在一个彩色打印机，则它有可能向用户提示该彩色打印机的位置，并询问用户是否需要使用该打印机来打印。
智能空间的发展阶段
上面所列举的三点可以被看作是三个具有递进关系的特点。事实上我们认为这三个特点是智能空间发展的三个不同阶段的特征体现。图1描述了智能空间发展的这三个阶段，并说明了每一个阶段所重点关心和研究的问题。
独立智能空间（Individual SmartSpace）系统是智能空间研究的第一个阶段。在这个阶段里，其主要的研究内容是空间内模块的通信与协调方式、自然的人机交互接口，同时还要求系统具有持久性以及透明性的特点。为了支持模块间的协调，人们研究了协调模型、多Agent系统以及通信语言等，构筑智能空间的软件支撑平台，并应用大量可触摸接口、传感器以及感知模块来获得更友好的人机交互能力。松散耦合结构应用系统提高了系统的持久性，而嵌入式技术的应用使得计算设备能够退到环境中去，并从人们的视线中消失。
智能空间发展的第二个发展阶段是开放的智能空间（Open SmartSpace），要同时关注大量应用的移动设备。移动设备随着用户在空间的漫游，它们能发现计算环境的存在，同时自发地与计算环境发生交互。这个阶段需要研究的问题涉及了计算环境的发现、异构通信信道的互通、资源管理、代理以及复合服务等技术应用。
事实上，我们认为，在将来智能空间可能会构成层次的结构。空间与空间之间将会互联，并且单个智能空间可能联合起来构成一个大的空间（例如清华大学的媒体所的所有房间构成整个清华的智能媒体所）。这些空间同样可能继续构成更为复杂的空间（例如清华媒体所、清华网络所、清华软件所、清华高性能所、清华电子系等构成整个清华的东主楼）。最终，智能空间将构成一系列智能社区（SmartCommunity）。智能社区中的智能空间将以怎样的形式组织在一起，如何进行跨空间的交互，如何进行跨空间的资源访问则是需要研究的问题。
需要说明的是，这些问题是按照逻辑关系而不是按时间关系出现的（如图1所示，在从左向右的发展中，新的问题不断加入）。各个阶段之间连接使用的是调制符号，以表示在原有问题的解决过程中因新问题的加入而使之变得更为复杂。阶段论的观点同时也表示前一个阶段提出的问题并不意味着它们在后一个阶段不重要，只是我们在后一个阶段中不去重点考虑这些问题，而是假设这些问题已经有了比较好的解决方案。我们在前一阶段的基础上重点开展后一阶段的研究。
就目前的研究现状而言，多数项目已经对第一个阶段（智能空间内部的协作机制）进行了比较深入的研究，研究的重点开始向第二个阶段转移。也有少数项目（如MIT的AIRE计划）已经开始就第三个阶段的问题展开了一定程度的研究。
智能会商室原型系统
在信息时代，面临重大突发事件时，决策小组需要在很短的时间内了解大量复杂的信息，并在决策人员间进行充分的交流讨论，以迅速做出正确的决策。
决策过程是人对信息综合的过程，单纯的决策支持软件系统作用的有限、尤其是人机隔阂的使用方式不利于决策人员获取和交流信息。只有把决策人员和信息化系统有机地结合起来，在两者之间建立自然、高效的交互通道才能充分利用信息、高效决策。
智能会商室（SEMIC: Smart Environment for Multi-userInteractiveCooperation）以重大突发事件的战略决策为应用背景，通过开发和集成先进的和谐交互技术，为决策人员提供一个高效的信息获取、交流的工作空间，从而促使显著提高决策效率。
在智能会商室中，多种来源的相关信息将集成显示在会商室的三维物理空间中，会商人员可以在多个显示表面上以自然便捷的方式直接与信息系统交互、或与远程的同事进行充分的协作交流，整个会商过程还将被自动存放为可索引的决策记录或参考案例。智能会商室是一个典型的多用户和谐人机交互环境，目标是促使决策人员在复杂的情况下尽快地理解和掌握当前形势并快速地做出合理的决策，关键是要为开放式信息集成、多用户自然交互提供支撑技术。
图2是智能会商室原型系统的一个现场照片。该原型系统建立在一个5米×6米的房间中，开发和集成的硬件设备主要有:一个交互显示墙、一个大屏幕触摸式显示板、一个交互桌面、一个平板电脑、2个PDA、多功能交互笔（每个用户配备1支）、线阵麦克风阵列2个、室内定位系统1套（包括7个接收器和5个用户徽章）、用于识别交互笔和过程记录的摄像头4个、计算机主机7台。开发和集成的软件模块主要有:基于多Agent的软件支撑平台、过程记录与检索、无缝数据管理、远程协作、手写标注识别以及GIS地理信息系统。
图2 智能会商室实验系统
智能会商室基于普适计算中的智能空间技术营造全方位信息显示与和谐交互环境，将大大提高决策的快速性和可靠性。其创新特点主要体现在:
● 新型交互方式自然便捷，能使决策人员集中精力于信息本身，决策效率将大幅提高;
● 松耦合的计算平台能较好地与现有信息系统快速集成，最大限度地增进多系统的协调工作;
● 远程实时的深度协同提高了决策过程中远程协作时的效率，能有效降低决策的风险;
● 超媒体的过程记录和多线索的索引技术为决策分析提供了真实全面的记录。
集成化的信息显示
会商过程中需要理解和交流的各种信息被集成显示在整个房间中，营造出一个全方位的信息空间。根据决策过程中不同的信息访问方式，配置了不同类型的显示设备（如大面积的交互显示墙、交互桌面、触摸式挂板、便携终端等），一改目前信息显示通道与信息交互通道相分离的应用模式，均支持在信息显示表面上直接操作信息内容，提供用户全方位、高效率的信息访问界面。同时，各种显示设备通过底层的计算平台互联起来，使得信息在不同显示设备上的迁移直观便捷。
会商过程中有新的重要信息源时，例如随身携带的个人笔记本或来自网络的新的数据，智能会商室的底层计算平台可以通过协议自动发现信息源，并调度软硬件资源，提供合适的调度和信息显示方式，无需复杂的手工配置。
1．软件支撑平台——Smart Platform
软件支撑平台是智能会商室计算平台的系统软件，负责智能会商室中各种软硬件模块的协调与通信，最终将各种功能模块组成一个有机的整体。平台面临的主要问题是要集成各种异质的具有计算、传感能力的交互设备，实现设备间数据的交互、资源的发现、协作等。
软件平台Smart Platform基于多Agent模型，原因是:它鼓励计算实体行为自主，以适应系统组成和结构的动态性; Agent封装程度和抽象层次更高，可降低复杂系统的构建难度;计算实体间通过较高层的Agent间语言协调，耦合度小，利于系统的鲁棒性和功能扩展。
图3是我们设计的基于多Agent模型的系统软件结构，(a)表示系统软件是在底层操作系统和网络之上的中间件，应用、资源和服务等将被封装成为Agent，系统的通信层、协调层和通用服务将提供Agent的运行环境和上层应用开发工具;(b)表示系统的运行时结构: Container管理单机本地的Agent，DS（DirectoryService）负责Agent全局注册、运行环境的管理及消息转发。其特点是:

图3 多Agent软件支撑平台Smart Platform● 松耦合结构使系统具有良好的可扩展性，并有利于提高系统的鲁棒性。
● 点到点通信通道和层次转发通信通道相结合，兼顾了Agent间消息和实时数据流交互的需要。
● 协调层采用基于消息组的发布/订阅模式，可有灵活的订阅粒度控制，利于Agent间自发交互; 基于XML的消息格式描述能力强，支持异构，便于开发和移植。
● 充分的通用服务支持应用层功能的开发。
2．无缝数据管理——Liquid
SmartPlatform协调层的无缝数据管理模块（Liquid）能够统一管理存储在不同计算设备上的信息源（以文件为粒度）。从用户的角度来看，进入会商室后，不同计算设备上的信息被放置在一个系统中，用户无需关心信息的上传和下载，只需利用下文介绍的多功能交互笔就能在不同显示设备上方便地显示、切换、标注这些信息，使得用户的注意力能主要放在讨论和信息理解的过程中，无需过多理会计算系统的细节。远程用户被允许接入会商室后，也能利用无缝数据管理模块来提供和共享信息。图4是该模块的结构图。
便捷的交互方式
在多种显示设备集成的信息空间中，决策人员可以通过物理环境（如墙面、桌面）、日常用具（如笔、激光笔），新型信息设备（如PDA、麦克风阵列），以及语音命令等自然便捷的方式与信息系统交互，无需依赖传统的鼠标键盘，以使对计算机不熟练的人员也能够直观地访问、处理信息。原型系统主要通过语音命令和多显示表面上的笔式交互提供直接的支撑技术。
1．多功能交互笔——uPen
在会商室这样一个包括多种显示设备的三维交互空间中，用传统的鼠标键盘进行交互是相当繁琐的: 每个显示设备都需要单独配备鼠标或键盘; 对于不熟练的计算机用户来说，这种交互方式效率很低; 对某些操作，例如绘制图标，即使是熟练的计算机用户用鼠标和键盘也很麻烦。
我们设计实现了一种多功能交互笔uPen，它是一个具有压力传感器的触摸笔，可以发射激光，笔身上还有激光发射和鼠标左右键共三个功能按键。结合触摸板和计算机视觉技术，用户利用一只uPen就能够以便捷的方式在会商室中与各种显示设备进行交互。这种笔势交互的模式摆脱了鼠标键盘，使用户在会议室的各个位置都能与显示设备交互，而且交互方式统一便捷。
每一支uPen在使用过程中能向系统发送惟一的ID信息，为多支uPen同时工作提供了基础。结合室内定位系统，就能够确定使用人员的当前交互状态，为系统的主动服务和用户相关的过程记录提供了可能。
2．交互显示墙——iWall
显示墙是多人协同工作情况下的有效的信息呈现手段。目前，高级指挥或决策中心大都已经使用了一定的显示墙技术来提供多路信息的同时呈现。智能会商室中的交互显示墙包括利用投影仪投放到普通墙面的主屏幕，以及若干个小面积显示屏组成的辅助屏幕（图2中的墙面投影及右侧墙面及其下方的辅助小屏幕）。主屏幕的大小和辅助屏幕的数量可以根据需要方便地扩展。
用户对交互显示墙的操作通过uPen完成，其基本原理是用视觉跟踪的技术识别uPen发出的激光点在交互显示墙上的位置，用户手持uPen可以改变激光点的位置和发出无线命令信号。系统根据识别得到的激光点轨迹和接收到的无线命令信号执行操作，例如改变交互显示墙上的内容，完成在主辅显示屏之间的切换等。
3．交互桌面——iTable
在决策的多人讨论交流过程中，决策人员仍然喜欢围坐在桌旁利用纸和笔方式进行交流，其原因是操作更为快捷和直观，也便于多人面对面的交流。但这种方式失去了计算机可以提供的许多文档显示、编辑功能和联网协作功能。我们设计的交互桌面（iTable）结合了两种方式的优点，即: 使用者可以用笔或手指直接在大尺寸的桌面式显示平面上与计算机交互、又保留了传统的会议桌的讨论方式。
iTable结合uPen，能够提供多人同时操作的解决方案。基本原理是基于压力传感和视觉跟踪的技术。交互桌面的表面装备摄像头跟踪uPen的轨迹，用户手持的uPen笔尖装有压力传感器，当笔尖接触到交互桌面时，通过uPen轨迹、笔的当前受压时间和自身的ID，系统将可区分多支笔在桌面上同时操作时的当前位置和ID。进一步地考虑用户在绘制过程中像素的连续性和运动特性，即可把各支笔和它们各自绘制的笔画对应起来，从而解决了多人在桌面上进行同时操作的问题，目前支持两人并行工作。
4．室内定位系统——Cicada
智能会商室是一个典型的多人协作的工作环境。利用室内定位系统、麦克风阵列以及能区分人员身份信息的交互笔来自动区分决策人员以及他们当前的活动状态。在此基础上，结合具体的决策流程，为决策人员提供与其职责相匹配的主动服务，提高决策效率。
同时，智能会商室内的人员可以与远程决策人员进行不同于传统的视频会议系统的充分的远程协作。智能会商室除具备音视频通道外，将为身处不同地点的决策人员提供丰富的信息共享和自如的交互能力，使各方能充分觉察对方决策所依据的思路过程，在共享的工作空间上克服空间阻隔充分交流协作。
会商室是一个典型的多用户工作环境，为支持不同身份人员的高效工作，一个重要的前提是能够区分不同的人员，检测当前人员的活动状况。清华大学研制了一种新型室内定位系统——Cicada，它基于射频和超声波达到时间差来测量距离。Cicada不仅能对静止和移动物体进行准确定位（静止误差在5cm以内），而且拥有全向型的工作区。由于它的小巧和轻便（如图6所示），可以配置在用户的胸牌等随身携带的物品中。

图5 Cicada的系统架构
图6 电子徽章和接收器自动记录决策过程
决策过程记录是重要的参考，单纯的文字记录或者视频录像都是不够的，前者丢失了对于理解决策过程十分关键的数据本身，而后者无法对信息进行精确的还原，同时视频本身缺乏结构性，不便于检索。智能会商室能够实现对空间中发生的事件的多线索数据流的同步记录、索引和回放。
我们研制的过程记录模块能够对决策全过程做多线索数据流的同步记录，包括交互显示墙、交互桌面等设备显示的各种信息和数据、决策人员对交互设备操作，如交互显示墙主屏幕的切换过程、交互桌面上的动作以及基本的现场音频、视频等;这些不同线索流上的数据在时间上保持同步，这样回放时可以全面地重现决策过程。记录下来的数据用XML语言描述，保证了通用性。为便于记录的快速浏览和查询，过程记录模块从用户、时间、位置和事件四个维度上自动建立起索引结构，并且开发了用户友好的图形查询界面，支持快速回放和图形化查询。
链接:智能教室
普适计算研究中的一个重要问题是如何把这项研究与当前的应用相结合，远程教育是一个很好的结合点。图7示例的是清华大学研制的一个智能教室系统。

图7 智能教室系统示意图智能教室（SmartClassroom）是一个依靠智能交互空间技术增强了的真实的教学环境。除了传统教室中的讲台、课桌椅，智能教室的讲台上方投影的是电子讲义（如图7所示），左侧墙壁上显示的是远程学生的情况和教室虚拟管理员的头像。系统的运行需要多台计算机的支持，但教室中的师生并不需要面对和操作计算机本身。教师可以像在传统教室一样自然而方便地进行教学活动，他通过板书、语音命令、激光笔指点等方式获得计算机辅助教学和远程教学的便利，从而摆脱远程教学桌面交互模式的限制。同时，大量的参加远程学习的学生可以以不同的接入方式通过互联网加入这个课堂。这个教室还可以自动判别课堂当前的焦点，自动地将合适镜头的视频传送给远程的学生。远程学生可以和教室中的学生一样参与课堂教学，如发言和板书等。讲课过程还可被自动记录成为可检索的复合多媒体文档，作为现场课件使用。
作为一个研究实验平台，智能教室在智能空间和多媒体远程交互等课题方向上已取得了一定进展:多模态信息融合、智能空间中基于上下文的行为语义、智能交互空间的分布计算环境、内容相关的自适应传输、可伸缩群组交互机制、无缝的可移动性、过程记录、基于内容的多媒体检索等。这个课题还集成了清华大学计算机系多年来在计算机视觉和语音处理方面的优秀成果，包括人的跟踪、基于生物特征的身份鉴别、虚拟人合成等。该课题成果已经投入清华大学继续教育学院的远程教学的实际应用。传统的远程教育系统中的教师是面向计算机的屏幕，而不是学生，这阻碍了教师与学生之间的面对面的交流。在基于智能空间的远程教育系统中教师可面向学生进行教学，同时又可充分地享受信息访问和交互的服务，从而把远程教育技术提高到一个新的水平。
目前，清华大学智能空间的研究已经从面向一个教师为主的教室环境，发展到面向多个用户的会议室环境，随着用户数和开放程度的增加，交互和服务的复杂度将增加维度，面临的问题将更具挑战性。