分布式协同虚拟学习环境的交互技术

陈 敏 罗会棣

摘要：人机结合以人为主，而高效自然的人机交互技术是提高人机系统的整体效率的关键技术。本文将CSCW技术与虚拟现实技术结合起来，构造分布式协同虚拟学习环境，提出了一个分布式协同虚拟学习环境中的多维交互界面模型，为协作者提供以三维动态形式出现的信息环境，使其在这一环境中具有真实感和沉浸感，改善协同学习环境的用户界面，通过多维、自然的交互更好地表达情感、协同工作。
关键字：协同学习　分布式虚拟现实　交互技术
1　引言
随着计算机及网络、通讯等技术的飞速发展，人类正向高度信息化的社会迈进，网络改变着人类的生活和工作方式。协同工作技术与虚拟现实技术的结合将引发教育领域的又一次革命，它提供一种完全沉浸式的交互界面，把网络空间转换为社会空间，通过虚拟社会将人们联系起来，提高协同工作者之间的可感知性和交互性，使其获得更真实的身临其境的体验。基于此，研究如何加强协同虚拟学习环境中交互的自然性、多维性和丰富性，成为了一个热点研究领域。
2　协同学习环境
2.1CSCW
计算机支持的协同工作（Computer Supported Cooperative Work，简称CSCW）技术是现代计算机技术的一个分支，它是指一组用户在一个共享的工作环境中协作地完成一个任务。CSCW技术运用于教育领域更好地体现了建构主义对教学过程的要求，更能突出学习者的主体性和协作性。CSCW教学系统具有边界开放性、信息共享性、自动化支持、工作协同性、分布性、群体感知性等特点。其教学模式如图1所示。
2.2当前网络学习环境的局限性
（1）缺乏真实的体验
建构主义学习环境所要求的知识的建构是在情境中进行积极的连接和反思过程的结果，所产生的知识是大脑的产品，是学习者来自于情境的经验及对情境解释的结果，这些经验能够在学习环境也能够在真实世界环境中遇到。而现有的网络学习环境基本上遵循HTTP协议由HTML及相关扩展技术构造，缺乏真实感，其创设的情境不能将现实世界环境中的特征尽可能忠实地体现在学习环境中。
（2）交互缺乏可感知性和自然性
基于Internet的协作学习环境应该具备共享的信息资源、交互工具和学习空间（协作空间、个人空间）三个功能。其中交互应该通道多维、信息丰富、效果良好。目前的网络学习环境在用户界面和交互方式上显得不够友好，不能很好的满足协同参与者之间的情感表达和协同群体感知，缺乏可感知性和自然性，影响协同工作的效果与效率。
（3）学习者的非智力因素没有引起足够的重视
现有的网络学习环境不能很好的识别学习者在真实交往中所表现出来的个性差异。学习者由于各自有不同的社会、文化背景、知识结构和个性特征，因此，每个人的学习风格、思维方式也有显著差别，而目前的网络学习环境惟一能标志学习者之间差别的就是系统分配给的ID号，这不但不能很好的因材施教，而且学习者之间也不能相互了解。
此外，传统网络学习环境中运用集体的力量促进每个学习者的发展也不能很好的体现。在良好的协作学习环境中，学习者之间应能够通过相互观摩，共同进步。每个人在各方面的进步或后退都会被同伴所注意和评价，这些外部评价很能影响其今后努力的方向。在协作学习环境中这种积极向上的心理气氛，将能够激励其向更好的方向发展，全面提高每个协作者的自身素质。
2.3解决问题的一条思路
将协同工作技术和虚拟现实技术结合起来，构造分布式协同虚拟学习环境，提出一个分布式协同虚拟学习环境中的多维交互界面模型，为协作者提供以三维动态形式出现的信息，使其在这一环境中具有较好的真实感和沉浸感，改善协同学习环境的用户界面，通过多维、自然的交互更好地表达情感、协同工作。
3　分布式虚拟现实系统
3.1情境化学习理论
情境化学习理论认为，所有的学习都应该是情境变化的，学习应该发生在真实的情境中，环境是学习者所不可避免的整体的一部分。在情境中获得的知识和技能反映了这些知识和技能在现实世界所应用的方法。
情境化学习理论本质上与建构主义学习理论是一致的，亦即认为学习是在原有的基础上，通过与环境的交互，积极地建立新的认识和理解的过程。环境对与学习的意义是至关重要的。情境化学习理论坚持两条最基本的原则：一是对知识和技能的学习应当置于一个真实度很高的情境中；二是学习需要社会交互与合作。情境化学习理论的积极倡导者莱夫（Lave）认为，学习就其正常的发生的形式来说，应该是情境、文化和学习活动的共同功能。情境化学习的重要组成部分是社会交互，亦即让学习者成为学习团体的一员，团体有共同的信念与行为。情境化学习常常是无意识的，而不是刻意的。
3.2分布式虚拟现实系统简介
分布式虚拟现实（Distributed Virtual Reality，DVR）系统是一个支持多人实时通过网络进行交互的图形系统。每个用户在一个VR环境（真实感3D立体图形、立体声等）中通过联网的计算机与其他用户进行交互。美国国防部制定了DIS（Distributed Interactive Simulation）协议，成为DVR的一项标准（IEEE 1278）。目前虚拟现实技术已在医学、军事、航空、机器人及制造业、建筑、教育及娱乐等众多领域得到成功应用。
DVR系统应具有以下5个方面的特征：① 共享的虚拟空间；② 伪实体的行为真实感；③ 支持实时交互，共享时钟；④ 多个用户以多种方式相互通信；⑤ 资源信息共享以及允许用户自然操纵环境中的对象。
3.3虚拟现实系统的教学功能
Rory Stuart和John Thomas认为虚拟现实系统有六大教学功能：
（1）帮助学习者探索那些不能接触到的地点和事物，如火星表面；
（2）向学习者呈现那些难于观察和测量的事物，如分子结构；
（3）为学习者再现那些已经不复存在的事物，如冰河期的地球；
（4）为地域上远隔万里的学习者提供合作学习和讨论的环境；
（5）将抽象的、深奥的学习内容具体化、形象化；
（6）让学生与虚拟的人物进行交流，如与牛顿、伽利略探讨物理。
所有应用的关键在于参与，学习者进行推理和问题解决的基础是个案、实例和经验，而不是依靠规则的学习，学习者需要通过与环境的自然交互来建构他们自己的意义世界。
此外，从安全性与经济性的角度考虑，虚拟现实技术也是一种有效的教学工具。虚拟现实有极大的灵活性和多样性，只要更改计算机内的程序，就可以改变学习者所面临的“现实”。也就是说，计算机技术可以设计许多仿真实验，通过输入必要的参数，或者通过学习者交互操作，进行模拟实验，通过输入不同的参数，观察不同的实验结果，进行分析比较，学习科学探究的能力。
4　分布式协同虚拟学习环境的交互技术
4.1基于事件的VRML交互机制
新一代的WEB语言VRML（Virtual Reality Modeling Language），是一个三维造型和渲染的图形描述性语言它把一个“虚拟世界”看作是一个“场景”，而场景中的一切都看作是“节点”，它的描述构建通过Internet和World Wide Web上的超链接而形成的虚拟世界。这为虚拟现实与Internet的结合提供了一条新思路，也为基于Internet的协同工作的发展提供了一种新的虚拟现实的工作环境和交互技术。VRML的基本特征包括：分布式、交互式、平台无关、三维、多媒体集成、逼真自然等，被称为第二代WEB。
VRML 2.0标准提供了感应器节点(Sensor)来产生事件(Events),以代表用户的动作和要求:使用执行引擎来处理事件 ,使对象发生相应的状态改变或动作的变化 ,再通过路由结构 (Route)来传递事件和生成动态的场景 ,实现虚拟现实动画的人机交互功能。
VRML允许用户的行为能够实时作用于场景，用户不仅可以在场景中随意漫步，甚至可以随时启动一个“事件”，比如碰到了一个物体、旋转灯钮来控制灯光的亮度等等。这种人机交互是建立在事件的基础上的，通过路由将节点联系成为事件体系是使VRML具有动态交互能力的机制。
4.2分布式协同虚拟学习环境中的多维交互界面模型
为支持人与虚拟环境之间同时使用多种交互方式（多通道），我们建立了一种基于分布式虚拟现实交互的CSCW应用结构，其多维交互界面模型如图3所示。
该模型支持多种人与虚拟环境的自然交互方式，用户可以通过各种输入技术和输入设备表达信息，如语音技术、姿势输入技术、唇读、表情识别、数据衣、数据手套等。这些输入信息通过信息整合器的整合，然后送入交互信息管理模块进行处理。
交互信息管理模块通过提供一致的接口，将可交互改变的信息分离出来，允许系统通过不同的方式对其进行改变。模块包括冲突检测、协调机制、交互命令。在协作过程中协作者之间必然存在某种和谐的冲突，冲突检测引擎可以实时检测出各仿真实体之间、仿真实体与静态实体之间的冲突，交由协调机制进行协调，协调过后就向智能代理模块发出交互命令。
智能代理模块中的计算进程负责完成所有非图形类计算操作，几何模型管理进程负责对虚拟现实环境中的所有几何场景进行管理，将处理结果传递给界面信息表示模块控制、修改后进行输出。
界面信息表示模块支持多种显示和不同观点。因为协作的用户必须知道其他用户的活动，所以必须支持给不同的协作者形象地显示共享的协作信息，并支持对不同视窗上的共享信息做出各种有效的协作操作；对应于不同级别的信息共享，各协作者往往要求以不同的方式表达。按照交互作用的程度，通常有三种级别的共享方式：
（1）表示级共享（紧耦合）：对于公共信息区的同一信息为用户提供统一的显示输出方式。当显示内容改变时，所有协作成员的显示屏幕都要随之改变。这种通讯共享方式也称为“你见即我见”（WYSIWIS）。
（2）视图级共享（中等耦合）：每个用户使用的显示数据相同，但显示方式不同。例如，同一数据可以为用户表示为图表或图形。
（3）对象级共享（松耦合）：每个用户使用的显示数据都不相同。例如，几个用户可编辑同一文档的不同部分。
4.3关键技术
4.3.1交互设备
三维人机交互技术与传统的WIMP（窗口、图标、菜单和指点装置）图形交互技术不同。它采用六自由度输入设备。所谓六自由度是指X、Y、Z轴平移和绕X、Y、Z轴旋转。目前的交互设备在三维交互环境会破坏空间感，同时也使得交互过程非常不自然。现有三维设备中被广泛应用的主要有：浮动鼠标（Flying Mouse）、数据手套、手持式操作器（Wand）、力矩球（空间球Space Ball）等，此外，手势识别、视线跟踪等也成为研究的热点课题。
4.3.2自然的人—机、人—人交互技术
要使得协同工作者获得很好的“真实感”和“沉浸感”，交互的自然性就显得特别重要，必须使用多通道用户交互技术，包括自然语言、手势、头部运动等。在分布式协同虚拟学习环境中，除了一般图形系统的人—机交互之外，还有人—人交互，并且要求是同步交互，实时同步交互的协同工作的同步交互涉及的问题包括同步交互请求和同步交互检测等，它是把CSCW技术与虚拟现实技术相结合。
4.3.3网络通信和网络协议
由于在分布式协同虚拟学习环境中要求高交互性和实时性，网络通信的带宽和延时成为系统的主要限制。另外，一些传统的网络协议不能满足DVR系统的需求，必须研究新的面向DVR的网络协议，现有的一个典型例子是虚拟现实传输协议（Virtual Reality Transport Protocols，简称VRTP）。
4.3.4快速环境建模和实时图形绘制
传统的几何的建模方法有其固有的缺点（速度慢、真实感差），现在，基于图像和几何的混合造型方法已得到较为广泛的使用。此外，实时图形绘制是也是一项关键技术，可以考虑使用限时计算、多细节层次模型、智能化视区裁剪、场景预处理、基于图像的绘制等技术，来保证图形的实时绘制。
4.4虚拟现实交互技术的优点
4.4.1丰富了媒体的表现形式
在分布式协同虚拟学习环境中，媒体的表现形式在原本二维平面的基础上增加了三维立体的形式，变得更为丰富，更加方便用户获取信息，使得协同工作可以更好地开展下去。采用二维和三维、实时和非实时的结合，改变了呆板的对话框文本输入式的交互，提高了用户的感受力。
4.4.2提供了协同工作角色的可视化管理
在协同环境中对参与协同工作的角色进行管理也是协同环境需要研究的重要内容，协作者能够实时地了解其他协作者的状态可以使他们之间的协作更好地进行。分布式协同虚拟学习环境的角色管理也已经从非实时提高到实时，从状态提示型跃进到了可视化。
4.4.3改善了协同环境的用户界面
分布式协同虚拟学习环境中所创建的三维虚拟空间要比单纯的应用程序界面要友好得多，使协作者有身临其境的感受，如同在真实世界当中。这种用户界面让人感到亲切自然，更容易接受。
4.4.4有利于学习者的非智力因素的培养
在分布式协同虚拟学习环境中，协作者以具有个性特征的智能实体（Actor）形象进入系统，每个智能实体根据协作者的文化背景、知识结构和个性特征各不相同，给人以“第一人称”的感觉。协作者还能通过各种输入输出设备实时的与其他小组成员进行交流，充分发挥集体的智慧，并相互学习、相互促进，共同进步。
4.4.5提高了人机系统的整体效率
采用了新型的交互技术和交互设备，突破了人机交互的基本障碍，构造和谐的人机环境，将在现实世界中人与环境交互作用的经验尽可能直接移植到人机环境中，并在人机环境中获得类似于或相同于现实世界中交互的真实的三维感受，消除人被动地去适应计算机系统所带来的认知负担，增强人机系统的整体效率。
5  结论
目前，三维交互技术的研究已经在国际图形学界引起广泛的重视，人们普遍认为三维图形交互将成为新一代用户界面的关键技术之一。本文提出的分布式协同虚拟学习环境中的多维交互界面模型,通过多维、自然的交互进一步改善了协同学习环境的用户界面，当学习者使用“沉浸式”用户界面进行网络化协同学习时，其学习效率不言而喻。模型中的交互信息管理模块和界面信息表达模块能较好地对信息进行整合及输入输出，而进一步完善智能代理模块，提高人机交互的自然性和高效性是我们今后努力的一个重要方向。