合约承诺×同侪审评 建立公信评分机制

文: 教育传媒

教育资讯 专家分享 教育专业 教育传媒 教育专业第19期 香港教育大学亚洲及政策研究学系胡志强教授 日内瓦国际发明展金奖 IIIC国际创新发明大赛金奖 数学与资讯科技学系苏赐福博士 个人分数网上评估系统 OASIS 香港教育大学创新项目巡礼 香港教育大学

  香港教育大学亚洲及政策研究学系胡志强教授从过往的经验里提取构思,和其团队开发了评核「个人分数网上评估系统」(下称:OASIS)。OASIS 是一套为团队项目的个人贡献进行评分的系统,利用团队成员的互相评估数据来计算基线,以数据为本,计算出公平合理的分数。美国和亚洲九间大学共二十八位教师采用了这个系统,改善了大约一千八百名学生参加的二十三种不同课程的团队学习方式,在 2020 年 IIIC 国际创新发明竞赛中夺得金奖,更在 2021 年再下一城,在日内瓦国际发明展上荣获金奖。

投诉成研究契机
  胡教授坦言这个系统的念头源于数年前,四名学生向他投诉一名成员没有共同完成小组功课,不应跟其他组员获得相同分数。「当时四名学生全是应届毕业生,他们必须完成该课程才能毕业,所以该名不负责任的学生即使甚么都不做,其余四人也会自然接手他的工作。」胡教授很遗憾的表示当时只能够在学生提出正式投诉后才能着手处理。于是胡教授开始想建立一个较为完善的机制,可以更公平地评估小组内个别人士的贡献,而非等待组员投诉,才开始评定组员个别分数。
  合作学习的原意是透过学生之间互相沟通协作达至学习目标,以总体成绩为评价标准,当学生逃避分担责任时,学校和老师的处理手法却一直没有清晰的指示可遵循。有见及此,胡教授开始反思大
学现行的小组评分,希望创建一个更成熟、公正的评分机制,杜绝想坐享其成的Freerider 行为,提升团体工作效率。

独立绩效评估
  创建 OASIS 最大的挑战就是量化每名组员在小组里的贡献,为此胡教授引入了合约承诺制度和表现计分制,塑造一个公平划一的量化标准,鼓励学生参与团体工作。透过合约承诺制度及契约精神约束学生,学生在工作进行前认真地思考学习目标和确定各人分工,减少争议。胡教授说︰「基于各个学生都签了合约,每人也有需要负责的部分,清晰列明,对工作内容有所承诺。学生亦了解若没有履行承诺,在分数上会反映出来。这是防止学生躲懒的第一步。」
  学生在缴交小组功课后亦需就个人和组员的表现作评分,防止学生在小组工作途中的过度依赖行为。老师只须综合评分结果和作业的整体分数,由 OASIS 转化成数据,为每名学生独立评分,消除学生对老师评分的质疑和抱怨。胡教授说︰「有了具体而完整的机制让老师可以按部就班,即使是小组功课,仍可以公平地计算每位学生的个人成绩。」

堵塞串通行为
  机制虽然能协助老师的评分工作,但在学生层面,他们可能会免却麻烦而统一口径,例如包庇某些躲懒的同学,又或是相反,因私怨而诬蔑某组员。苏博士补充:「考虑到学生可能私下互相承诺给对方最高分数,或是参杂个人恩怨,系统会删去最高和最低的互评分数,使分数更加公平,杜绝勾结、欺凌的行为。另外老师亦会因应自己的观察而召见某些小组作深入了解,例如两人小组本身是情侣关系,老师可能需要学生提出更多证据,证明二人之间有公平分工。」
  胡教授坦言在 OASIS 评分后,若学生认为评分依然有问题,可以申请调查,要求所有成员当面提交证据细节,阻止预先串通行为。「在没有完整制度下,当学生投诉某位组员没有贡献时,往往可能缺乏证据。而由于一开始时每位组员都签订了合约,对自己负责的部分有所承诺,这已经可以让其他有贡献的组员,备有证据。而被投诉的一方若想平反,只要拿出证据证明自己的贡献即可,方便快捷。」胡教授说,事实上很少来到当面对质的一步,因为一旦有组员作出投诉,没有付出贡献的一方已经自知理亏,产生「面红效应」,自然会老老实实地完成自己负责的部分。
  对于不同的持份者而言 OASIS 方便实用,为老师提供透明的评分规则,为学生提供共同同意的互评机制,为大学管理层收集研究数据。胡教授说︰「就用户的回馈,他们尤其满意减少对Freerider 的投诉,反映OASIS 的合约承诺和同侪互评能有效阻吓期望能不劳而获的学生。」

知识转移 从学界到商界
  OASIS 不只适用于学术评分上,甚至可以转移应用在公司的管理层面上。一所著名跨国玩具制造公司将OASIS 引用至旗下两所分公司。「他们同时有很多专案小组在进行,人数由二、三人不等到五十多人,每个专案小组成功完成后,各组员会获得相应的奖金。对于那些身兼数个专案小组的高级员工而言,他们在每个小组的贡献不尽相同,有时候他们可能只是负责签署文件,有时则须要带领小组方向。若只是将年终奖金按小组成员人数平分,对于所有员工而言是不公平的。OASIS 能够评核各员工的工作量和表现,以决定所获的年终奖金金额,真正的鼓舞员工士气。」胡教授坦言 OASIS 仍有进步空间,希望将来为学校和企业,建立更完善的机制,让成员得到更公平的待遇。

评核个人分数的网上评估系统(OASIS):http://oasis.eduhk.hk

如有兴趣进行后续合作计划,请联络香港教育大学知识转移办公室。
如有查询,欢迎致电 2948 27 7556 联络香港教育大学,知识转移办公室凌先生。