网上学习环境评价模型、指标体系及测评量表的设计与开发

张伟远
香港公开大学
【摘要】本研究旨在构建网上学习环境的评价模型和指标体系以及开发标准化的网上学习环境测评量表。此评价模型和指标体系开发的过程包括以下10个步骤：收集和分析关于学习环境和网上教学研究的文献；比较国内外流行的17种网上课程开发平台以及使用这些平台开发的上百门网上课程；调查亚洲地区网上教师和学习者对网上教和学的体验；构想网上学习环境的维度及指标体系；效度论证；先行性研究；信度测量；建构模型及指标；确认模型及指标；建立网上测评量表。最后形成的评价模型包括8个维度：教学设计、内容设计、网站设计、灵活性、学生互动、教师支持、技术支持以及学习评估，在每个维度下又细分为7-11个指标不等，整个的指标体系共70项。我们希望，本评价模型和指标体系能为准备开发网上课程的教师设计有效的网上学习环境提供一个框架，为网上教育工作者评定自己的网上课程提供测量量表，有助于改进网上学习环境的实践。
【关键词】评价模型；指标体系；测评量表；学习环境
绩效技术，又叫做人类绩效技术（Human Performance Technology，简称HPT），并不是一个全新的概念。事实上，目前应用于绩效技术的很多理念都产生于20世纪60年代末和70年代初，主要来自于Thomas Gilbert、Joe Harless、Robert Mager和Geary Rummler等人。作为教育技术领域不断发展起来的一个重要研究领域，绩效技术从80年代开始对教学设计产生影响，到90年代时就极大的影响了教学设计，同时许多训练组织和教学设计者也将注意力从设计训练项目转到了设计电子绩效支持系统[1]。目前，绩效技术已经在美国等国家得到了长足的发展，但在我国的发展却十分缓慢，我们力图通过一组文章对绩效技术的相关概念、理论渊源、研究范畴、工作模型、发展动态及趋势、与教学设计的关系、在公司及学校中的应用等多方面，比较系统地介绍绩效技术的研究内容。本文作为该组文章的开篇，着重介绍绩效技术的相关概念、理论渊源及基本观点、HPT模型及人类绩效技术的研究范畴。
一、绩效技术的内涵与特征
一、介绍
人们的行为受制于个人特征和所处环境之间的相互作用，因此，学习环境一直是教育领域中广受关注的研究课题。学习环境的研究可以追溯到30年代德国心理学家卢因(Lewin)的学习场理论，卢因深受爱因斯坦的影响，把场物理学的观念用于心理学。他认为，行为取决于个人和环境的作用，并提出了B=(P，2)的公式，这里B指行为，P指人，E指环境，也就是说，一个人的行为受制于个人特征和社会环境。他的场理论是对现代社会心理学最有影响的理论之一(Cooper,2002)。
基于卢因的场理论，弗雷泽(Fraser，1986，1998)提出，我们需要一种新的策略来分析影响和导致有意义学习的多种因素，这就需要研究者设计一种测评学习环境的工具，从心理社会层面评价所在的学习环境。从80年代开始，一系列的学习环境量表开始出现，表1是目前流行的课堂学习环境或远程学习环境测评的部分量表。

随着网上教学的发展，网上学习环境的研究开始受到重视。要建立网上学习环境的评价模型和指标体系，就要研究网上学习环境的组成部分。综合现有的文献，发现目前关于网上学习环境的组成部分有三种分类：基于教育技术的分类；基于教学论的分类；基于教育技术和教学论的分类。详见表2。

以上的三种网上学习环境的分类表明了远程教育研究者已经关注到网上学习环境的重要性，也可以看出人们对网上学习环境的认识有一个过程，从最初的只是从网络硬件设备发展到从网络软件功能的角度进行网上学习环境分类，继而从教学论的角度探讨网上学习环境的组成，以及综合了技术和教学论的角度研究网上学习环境。然而，所有这些关于网上学习环境组成部分的研究，主要是依据文献分析和推论，是一种思辨性的探讨，缺乏科学和实证的研究基础。
教学实践的每一阶段都需要发展一种科学的评价模型、指标体系及测评量表，通过评价和测量来保证教学质量和增进教学实践。然而，近年来，网上学习的实践飞速发展，但是根据文献研究，关于网上学习环境评定的模型和指标的研究极为有限，目前还没有标准化的专门测评网上学习环境的量表。因此，我们有必要通过系统的科学的实证研究，探讨网上学习环境的组成部分，构建网上学习环境的评价模型和指标体系，开发具有良好效度和信度的网上学习环境测评量表，为建立有效的网上学习环境提供理论基础，同时为帮助网上教育工作者开发或增进网上学习环境提供一个基准。
二、研究设计和方法
(一)研究方法。在本研究中，我们采用了文献分析、国际比较、问卷调查、专家论证、标准化测量等研究方法。
(二)样本。表3概括了评价模型、指标体系及量表开发中不同阶段的样本人数，其中每一阶段选择的样本是不重复的。

(三)研究过程。整个研究的过程可分为以下10个步骤：
1．文献收集、综合及分析。全面收集关于学习环境分类和测量，以及网上教学研究方面的中英文文献，并进行综合和分析，研究结果已另文发表(参见：张伟远、王立勋，2003a)。
2．网上教学平台和课程的国际比较。我们选择了从万维网可以进入的在开放大学和普通高校广泛应用的17种网上教学开发工具，并对采用这些教学平台开发的100多门网上课程的学习环境的特征进行了归纳，分析这些网上教学平台的功能、特征、优势和不足，研究结果已另文发表(参见：张伟远、王立勋，2003b)。
3．问卷调查。我们对亚洲地区七国九地的1728名不同学科的网上学习者和105名从事网上教学的教师进行了网上教和学的体验和看法的问卷调查，研究结果已另文发表(参见：张伟远，2003)。
4．构想网上学习环境的评价模式及指标体系。在文献研究、教学平台比较、网上课程分析，以及问卷调查的基础上，归纳出网上学习环境评价模型的8个维度：并设计了相应的网上教学环境的96项评价指标，形成初步的网上学习环境测评量表。
5．内容效度的专家论证。我们邀请了来自我国内地、香港、英国、美国、加拿大、澳大利亚以及印度的11位网上教育研究专家，对该评价模型、指标体系和测评量表进行内容效度论证，结果得到了专家们的一致肯定，同时他们也提出了宝贵的修改建议。在认真考虑了专家意见后，我们删除了2条不合适的指标，并对有关指标进行了修改。
6．先行性研究。我们把经过专家论证后的94项测评指标进行随机排列，选择了50名网上学习者为样本，请他们填写网上学习环境测评量表。根据先行性研究的结果，我们在文字上对测评量表作了一些修改。
7.信度测量·。在信度测量中采用的是测量—再测量的方法。我们选择了32名网上学习者为样本，以经过先行性研究后修改的测评量表为工具，请这些学生填写。在4周以后，我们请这32名学生再次填写同样的量表，然后分析两次填写的量表的结果的一致性。统计结果发现，测量—再测量的信度系数是0．725。在我们删除了与总分相关系数低于0．04的项目时，即去掉了5个信度差的项目，余下的89个项目的测量—再测量的信度系数提高到了0．728。
8．建构模型及指标。我们邀请了5所大学参加课题的模型和指标建构阶段的研究，这些高校分别是：中央广播电视大学、北京师范大学、香港公开大学、马来西亚开放大学，以及英国曼彻斯特都会大学。所选择的不同学科的796名网上学习者填写了网上学习环境测评量表。根据收集的数据，采用因素分析的统计方法，发现了8个可解释的因素，即8个网上学习环境的维度。根据因素负荷和项目量表信度，15个项目被进一步排除。余下的70个指标项目的alpha信度达到0．97。
9．确认模型及指标。这一阶段的研究目的是对上一阶段发现的网上学习环境的8个维度及指标体系进行确认。我们选择了8所大学参加这一阶段的研究，他们分别是：北京大学、中央广播电视大学、北京师范大学、华南师范大学、香港大学、香港城市大学、台湾高雄师范大学以及墨西哥的巴佳加里福尼亚自治大学。被选择的来自不同学科的1342名网上学习者填写了网上学习环境测评量表。根据测量的结果，采用因素分析的方法，发现同模型和指标建构阶段的研究结果一致，统计结果显示出同样的8个明显的因素，即8个网上学习环境的维度。根据每一维度包含的指标项目，我们给予每一维度特定的名称和含义(详见研究结果部分)。根据这次测量，70个评价指标最后被保留下来，其alpha信度达到0．98。
10．建立网上测评量表。最后我们建立了评价模型、指标体系以及网上学习环境测评量表，这是国际上第一个标准化的供管理人员、教师及学习者使用的网上学习环境测评量表，量表有中文和英文两个版本，并与香港公开大学遥距及成人教育研究中心的网页联接，人们可以自由免费使用。
三、研究结果
(一)网上学习环境评价模型
根据研究结果，网上学习环境评价模型包括8个维度，即教学设计、内容设计、网站设计、灵活性、学生互动、教师支持、技术支持以及学习评估。详见下图。

（二）网上学习环境评价的指标体系
本研究发现，网上学习环境的指标体系包括在8个维度下的70项指标，详见表4。

(三)网上学习环境的测评量表
1．测评量表的结构。根据在模型及指标建构和模型及指标确认两个阶段收到的收据(分别是796和1343名被试)，采用Vari—max旋转的主成分分析法，对评价模型中的所有指标进行探究因素分析，结果证明，这些指标可以分为能解释的8个因素(即网上学习环境的8个维度)，综合每一维度的相应的指标内容，我们把8个维度称为教学设计、内容设计、网站设计、灵活性、学生互动、教师支持、技术支持以及学习评估。最后的网上学习环境评价模型包括8个维度和70项指标。根据每一维度下的具体的指标内容，我们确定了这8个维度的含义，详见表5。
2.测评量表的信度。测评量表的可靠性是通过信度测量来进行的，本研究采用了克龙巴赫a1—pha信度测量和测量—再测量的两种信度分析方法。根据克龙巴赫却ha信度测量，总量表的内在一致性系数是0．98，8个分量表(即8个维度)的内在一致性系数是介于0．82至0．98之间。根据测量—再测量的结果分析，总量表的内在一致性系数是0．95，8个分量表(即8个维度)的内在一致性系数是介于0．78至0．95之间，详见表6。

表6表明，这一量表的信度系数都高于0．78，因此，可以说此量表具有良好的信度(Nunnally，1967)。
3.测评量表的效度。本测评量表的效度可以从3方面来确定：第一，由专家评定所有项目的内容效度。我们邀请了来自我国内地、香港、英国、美国、加拿大、澳大利亚以及印度的11位网上教育研究专家对该评价模式和所有指标进行效度论证；第二，本量表经过了先行性研究，确保问卷的合适性；第三，通过因素分析证明，大部分的指标都能归为8个因素(维度)之下，因此具有良好的构想效度。
4．网上测评量表的组成部分。网上测评量表的中文和英文两个版本的网址是：http／／www．ouhk．edu．hk／cridal／doviles／。量表包括下面5个联接的部分：
(1)介绍

(3)量表。本量表随机排列了70个指标项目，量表的部分内容见表7。
表7
(4)  测量结果。测量结果包括两个部分，一是使用者的网上学习环境的8个维度上的综合得分和样本总体的常模分数，供使用者比较参考。使用者得分和常模分数用图形和数字同时显示，使测评结果一目了然。另一部分是使用者的网上学习环境在8个维度下的70个指标的得分和样本总体的常模分数。
(5)数据收集。使用者填的网上学习环境测量量表的数据，会直接进入量表开发者所设定的Excel形式的数据库，这些自动收集的数据可作量表的进一步效度论证，以及自动更新常模。
四、讨论和结论
本研究基于对学习环境和网上教学研究的文献分析，对网上教学平台和网上课程的特征和功能的国际比较，对亚洲地区网上教学现状的问卷调查，构建了网上学习环境的评价模型和指标体系，开发了网上学习环境的测评量表，经过国内外专家论证、先行性研究、信度测量，并在多个国家进行试用，量表符合适合性、可靠性及有效性三方面的量表开发要求，可供网上教学的管理人员、网上教师以及网上学习者使用。
这一网上学习环境评价模型、指标体系，以及测评量表的开发和应用，具有理论和实践两方面的贡献。从理论上来看，本研究的结果发现，网上学习环境的组成部分可以综合为8个部分：教学设计、内容设计、网站设计、灵活性、学生互动、教师支持、技术支持以及学习评估。这一结果比现存的各种网上学习环境的分类，更加反映了最新的网上教学的现状。由于这一研究是基于实证的，它比已有的网上学习环境的分类更科学、综合和完整，能为创立网上教学的理论提供基础。
从实践上来看，这一研究结果有以下几方面的价值：对于管理人员和教师来说，如果计划开设网上课程，可以参考这一量表的评价模型和指标体系，使他们在开发网上课程中能考虑到网上学习环境的各个层面和各种指标。如果管理人员和教师需要评价已有的网上课程，他们可以从网上学习环境的8个维度和各项指标，与本项研究已经建立的网上学习环境的常模分数比较，从而考虑如何增进网上学习环境的实践。对于网上学习者来说，通过运用这一测评量表，了解自己学习的网上课程的学习环境与其他网上课程的差异。总之，我们希望此评价模式和指标体系能为网上教育工作者提供一个评定网上学习环境的有用工具，此测量量表能帮助他们自我评价网上课程的学习环境，从而有针对性地改进和提高。
然而，网上学习环境牵涉的因素极其复杂，不同国家和地区进行网上教学的模式也不尽相同，各地的政治、经济、教育体系、传统、文化、语言等等因素都对网上学习环境有着一定的制约和影响。因此，通过这一测评量表得到的结果只能作为评价的参考依据之一。最后，要指出的是，这一评价模式、指标体系及测评量表，只是帮助使用者评价自己所教或学的网上课程与他人的网上课程在学习环境方面的不同之处，而不能作为评价网上学习环境优劣的标准。
_xyz