研究人员追踪面部表情以改进教学软件

北卡罗来纳州立大学的研究表明，追踪面部表情的软件可以准确地评估从事互动在线学习的学生的情绪，并预测在线辅导会议的有效性。

“这项工作是开发人工智能软件来教授学生计算机科学的更大努力的一部分，”北卡罗来纳州立大学(NC State)计算机科学助理教授、一篇有关这项工作的论文的合著者克里斯蒂·博耶尔(Kristy Boyer)博士说。这款名为JavaTutor的程序不仅会响应学生所知道的内容，还会响应每个学生的挫败感或参与感。这很重要，因为研究表明，学生的情绪在学习过程中扮演着重要的角色。”

研究人员使用自动计算机表情识别工具箱(CERT)程序来评估参加一对一在线辅导课程的65名大学生的面部表情。研究人员发现，CERT能够识别与以学习为中心的情绪相关的面部动作，比如沮丧或集中注意力——而自动化程序的结果与人类专家的评估在85%以上的时间是一致的。

研究人员还让学生们报告他们对辅导课的感觉，并在每次辅导课之前和之后对学生们进行测试，以衡量他们学到了多少。

研究人员利用CERT的观察数据、学生的自我评估和测试结果来开发模型，根据学生的面部表情反映出每个学生的挫败感或投入感，来预测辅导课的效果。

“这项工作直接进入JavaTutor系统开发的下一阶段，这将使程序能够向学生提供基于认知和情感的反馈，”NC州立大学博士生、论文的主要作者Joseph Grafsgaard说。

纸”,自动识别面部表情：预测参与和挫折将在7月6日至9日在田纳西州孟菲斯举行的教育数据挖掘国际会议上发表。这篇论文的合著者是北卡罗来纳州立大学的本科生约瑟夫·威金斯(Joseph Wiggins);埃里克·韦贝博士，北卡罗莱纳州科学、技术、工程和数学教育教授;以及北卡罗来纳州立大学计算机科学教授詹姆斯·莱斯特博士。这项研究得到了美国国家科学基金会的支持。

希普曼-

编辑:研究摘要如下。

“自动识别面部表情:预测参与和沮丧”

作者：Joseph F. Grafsgaard，Joseph B. Wiggins，Kristy Elizabeth Boyer，Eric N. Wiebe和James C. Lester，北卡罗来纳州立大学

提出了：7月6日至9日，国际教育数据挖掘国际会议，孟菲斯，Tenn。

文摘:学习包括一系列丰富的认知和情感状态。认识和理解这些学习的认知和情感维度是设计知情干预的关键。之前的研究已经强调了面部表情在学习中心情绪状态中的重要性，但是面部表情的跟踪带来了巨大的挑战。这篇论文提出了一种精细的面部运动的自动化分析，这种运动发生在计算机介导的辅导过程中。我们使用计算机表情识别工具箱(CERT)来跟踪精细的面部动作，包括在教程对话的自然主义视频语料中抬眉(内眉和外眉)、降眉、眼睑收紧和嘴巴凹陷(N=65)。在数据集中，上面部的运动被发现可以预测投入、沮丧和学习，而嘴窝是学习和自我报告表现的积极预测因素。这些结果强调了面部表情的强度和频率如何预测辅导结果。此外，本文提出了一种自动跟踪工具在自然主义教学数据集上的新验证，比较CERT结果与人工标注在一个先前的视频语料库上。随着细粒度面部表情识别的出现，本文介绍的发展代表了自动理解学习过程中每时每刻的情感状态的下一步。