多模态学习情感计算：动因、框架与建议
以下文章来源于电化教育研究 ，作者周进， 等人
学习情感是影响学生认知加工与学习效果的重要因素，如何利用多模态数据开展学习情感计算是当前亟待解决的问题。文章在分析情感计算源起与多模态数据融合的基础上，阐述了多模态情感计算的发展动因，构建了多模态学习情感计算的研究框架，包括以教育场景为导向采集情感数据、依据情感模型展开建模与识别、利用可视化方式表达与反馈情感、结合情感归因来干预与调节学习过程等。基于现有研究案例，将多模态学习情感计算的应用归纳为开发学习情感识别系统、增强智能学习工具、支持学习干预与决策、探索学习情感的作用机制等方面。未来多模态学习情感计算应平衡数据采集侵入性与真实性、提升数据模型可解释性、综合衡量学习状态以及拓展教育应用探索与创新。
关键词：情感计算; 多模态; 人工智能; 学习情感; 学习分析
1
引言
人类情感与认知加工紧密关联，对记忆、注意、思维等过程起调节作用，可以显著影响学习结果[1]。当前人工智能与教育深度融合，赋予教学创新与教育变革前所未有的历史机遇，但同时给学生社会情感学习带来冲击[2]，情感教育与情感交互的需求日益凸显。此外，智能教育要实现全面感知和分析学习过程，情感是不可忽视的重要因素。而情感计算通过计算机系统识别、推理与表达人类情感[3]，是感知与理解学习情感、增强情感交互、促进人机协同的重要途径，也是当前教育研究较为活跃的前沿领域。
教育智能时代，多模态数据与机器学习融合有助于理解和分析复杂的学习现象，比单一数据源更能深入刻画学习者的相关学习行为[4]。从这个意义上讲，多模态数据已成为学习分析的必要条件与发展趋势[5]。学习情感作为学习分析的重要维度，如何利用多模态数据开展情感计算，以实现教学过程中对学习情感的准确评估与跟踪反馈是当下亟待解决的问题。基于此，文章聚焦于多模态学习情感计算，从动因、研究框架、应用案例与发展建议四个模块，探讨多模态数据赋能情感计算的方法与趋势，为学习情感的相关研究与实践提供参考与借鉴。
2
多模态学习情感计算及其动因
(一)情感计算的源起
在教育领域中，情感分析研究肇始于20世纪30年代，研究对象集中于学习过程中的焦虑情绪[6]。这期间形成了分析焦虑情绪的相关方法与理论，比如考试成就焦虑的心理学分析方法、成就动机理论等。经过半个多世纪的发展，情绪动机的学习研究引起了教育领域的关注，随后学界逐步拓展与学习过程相关的情感研究。1997年皮卡德教授的标志性著作《情感计算》正式出版[3]，直接推动了情感计算的发展及其在各领域的应用。相关研究聚焦于用技术实现情感的检测、识别与反馈，试图在计算机与人类情感间建立联系，以促进人与工具间的情感交互。然而，受限于当时的技术条件等各方面因素，情感计算教育应用并未引起广泛关注。
迈入21世纪，在智能技术与教育神经科学推动下，学习情感计算的相关研究与应用呈现快速发展态势。国际学术界加强学习情感与认知过程的关系探索，并继承与创新已有学习理论，形成了多媒体学习的认知情感理论(CATLM)与成就情绪的控制—价值理论(CVT)。认知情感理论认为，多媒体学习材料的情绪设计能影响学习者的认知加工、态度和动机，同时学习者自身特征也是影响多媒体学习情感的重要因素[7]。而控制—价值理论阐述了学习过程中所经历情绪的前因与结果，能作为技术赋能环境下学习情感研究的元理论[6]。可以说，上述理论进一步推动了情感计算在教育领域的发展与应用，为后续相关研究提供了理论指导。
进入2010年后，情感计算被广泛应用于教育领域[1]，期间各类学习系统利用情感计算技术发展起来，代表性的有情感导学系统(ATS)。该类系统通过采集学习者面部、语音等数据，利用机器学习算法分析与处理情感信息，以识别与反馈情感状态，进而为学习者提供个性化导学策略。此外，学习情感计算也从单模态走向多模态数据融合，其中，深度学习、便携式传感技术以及多模态学习分析起到了主要助推作用。
(二)多模态学习情感计算概述
模态是属于身体或情境中一种可衡量的属性，其数据获取与传递是以信号通道的方式实现，如麦克风可以对声音(信号通道)进行采样以检测语音(模态)，而多模态是将多信号通道的数据进行融合[8-9]。在教育领域中，将多模态数据应用于教育研究更符合人类交流的本质，满足了跨物理与网络环境下的建模需求，且新兴技术的发展为教育数据采集与处理提供了基础[8]。结合机器学习算法与丰富的学习数据，多模态分析有助于在各类环境下对学习行为映射的多层次信息进行推理与诊断，其中最突出的用途之一是预测学习情感[10]。一项元分析显示，基于多模态数据的情感识别效果优于单模态数据，其平均准确度提升了9.83%[11]，因而利用多模态数据表征学习情感已成为情感计算领域的发展趋势。
多模态学习情感计算是通过采集多模态数据，利用数据融合与建模方法整合多通道情感信息，发现学习过程中真实的情感变化过程，帮助研究者与实践者理解复杂的学习行为，是突破教育发展瓶颈与优化学习理论的重要途径。当前，多模态情感测量涉及心理、行为和生理层面，涵盖文本、语音、面部表情、身体姿态、生理信息等数据维度。其中，心理测量是运用自我报告的方式获取学习者主观的情感体验;行为测量是利用摄像机、麦克风、鼠标、键盘等工具采集相关数据来分析学习情感状态;而生理测量则是采用传感器捕捉学习者生理反应。通过采用多模态数据融合算法，将多通道信息融合实现对学习情感的识别，在此基础上进行情感反馈与学习干预。
(三)多模态学习情感计算的发展动因
在过去较长时期内，教育研究常用自我报告或行为观察的方式来测量学习情感，但分析结果存在主观不确定性且准确率不高。随着传感技术与人工智能的融合应用，通过采集多模态数据来客观挖掘学习情感已成为教育研究的发展方向。当前，传感设备日趋微型化、智能化、集成化[12]，极大地提升了数据收集的便捷性。将传感设备应用于教育研究中，可以实时采集学习过程中的生理数据，包括脑电、皮肤电、肌电、心率、血氧等，这为多模态情感计算提供了更多的数据通道。同时，面对大规模的多源异构数据，深度学习算法为数据处理与分析提供了技术支持。通过特征选择、数据建模与融合策略，进一步提升多模态情感数据的识别性能。换言之，深度学习与传感技术的发展是促进多模态学习情感计算发展的外部动因。
20世纪，受笛卡尔的身心二元论影响，学者常忽视了学习情感在认知加工中的调节作用[13]，导致教育研究陷入“重认知轻情感”的现实局面。近年来，学界逐步认识到学习情感的重要价值，并呼吁关注学习情感与优化学习理论[14]。在技术赋能学习环境下，学习情感显著影响学生的学习投入、认知加工、学习结果等方面。例如在多媒体环境中，学习材料的情绪设计可以提高学习投入，有助于学习者的深层次加工[15]。在教育神经科学研究中，利用功能性磁共振成像(FMRI)发现情绪反应是通过激活杏仁核来增强记忆能力[16]，进一步证实了学习情感与认知加工存在紧密联系。在学习结果方面，情感是影响学习的关键因素，尤其在学习决策、反思等方面起着重要作用[17]。因此，为进一步探寻学习情感在学习过程中的作用机制，真实学习环境下可靠的情感识别方法至关重要，而多模态情感计算为教育研究中的情感识别提供了有力工具与方法。可以说，学习情感的潜在作用是推动多模态情感计算发展的内在动因。
3
多模态学习情感计算的研究框架
(一)以教育场景为导向，采集多模态情感数据
(二)依据情感模型，建模与识别情感状态
(三)可视化表达与反馈学习情感
(四)结合情感归因，动态干预与调节学习过程
4
多模态学习情感计算的典型应用
(一)开发学习情感识别系统
学习情感识别是多模态情感计算教育应用的基础，依据不同测量通道与应用场景开发情感识别系统，能够实现学习情感的客观准确识别。在数字化学习环境中，Ray等人设计并开发了多模态学习情感识别系统[27]。该系统利用传感器和摄像头采集生理信号(心率、皮肤电、血压)与面部表情，运用人工神经网络模型与决策级融合策略对六种学习情感进行识别。数据分析显示，该系统的情感识别准确度达71.38%。随着深度学习技术的快速发展，课堂环境下的多模态情感识别成为研究新趋向。Ashwin等人通过摄像头采集学生的面部表情、手势与身体姿态数据，利用卷积神经网络算法与特征融合策略，实现对投入、无聊和中立三种情感状态的自动识别[28]。结果发现，真实课堂环境下学习情感识别的准确度达70%。上述研究表明，基于多模态数据的学习情感识别系统具有良好的应用前景，但其情感识别的准确度有待提升。
(二)增强智能学习工具
将多模态情感计算以模块化的方式嵌入学习系统中，可以增强系统的情感感知能力，进一步提升学习体验与优化学习交互。在自适应学习系统中，Lin等人整合面部表情、语义信息与皮肤电信号来提升系统的情感识别能力，并以学习仪表盘的方式呈现情感分析结果，帮助教师及时掌握学习状态与调整教学策略[29]。薛耀锋等人采集在线学习过程中面部表情、文本和语音信息，来赋能在线学习平台的情感识别能力[30]。而在教育机器人中，通过采集儿童与机器人交互过程中的语言信息(文本、语音)与非语言信息(面部表情、身体位置、头部姿态)，以实现对儿童学习情感状态的自动分析，可提升儿童与机器人之间的学习交互体验[24]。可以说，多模态情感计算在赋能自适应学习系统、在线学习平台、教育机器人等方面具有可观的应用潜能。
(三)支持学习干预与决策
基于学习成绩或学习行为展开教学干预存在一定局限，诸多研究尝试从情感角度进行学习干预。Ashwin等人通过采集学生的面部表情、手势和身体姿态来分析与预测学生的情感状态，在此基础上实现学习干预[31]。将该方法应用于在线学习、翻转教学、课堂教学以及网络研讨中，发现所提出的干预策略提高了学生学习成绩，并且无聊情感分别下降65%、43%、43%与53%。Standen等人利用多模态情感计算实现对投入、挫折与无聊情感状态的自动分析，在此基础上向学习者推荐学习内容，来保持学习者最优的情感状态以最大限度提升学习效率[32]。结果表明，结合学习情感的内容推荐会提升学生学习投入，有助于学习者保持良好的学习状态，但对学习成绩的影响还有待证明。类似的，也有研究尝试探讨基于学习情感来制定与选择教学策略[33]。总的来说，研究人员逐步意识到学习干预与教学决策中结合学习情感的必要性。
(四)探索学习情感的作用机制
近年来，学习理论与实践的重大转变是充分融合认知与学习情感，并积极探索情感在学习过程中的作用机制。Bahreini等人在教育游戏中通过识别面部与语音信号向玩家反馈情感信息，以训练和提升学习者的社交沟通能力[34]。研究发现，游戏过程中情感的自动反馈可以提升学习者的社交沟通能力。另外，Wang 等人利用所开发的多模态情感导学系统，分析情感因素对学习者的交互满意度与学习表现的影响[35]。结果表明，该系统通过提供情感感知与反馈提升了学生学习效果与满意度。该研究还指出，情感计算教育应用能提升学生学习兴趣与保持积极学习态度，并有望得到广泛应用。上述研究表明，情感感知与反馈对促进学生学习具有积极作用。而最近一项研究证实，学习情感与学习表现间存在正相关关系，且相关系数为0.74[31]。然而，学习情感与认知过程的演化机制还缺乏探讨，后续相关研究可围绕该主题进行探索。
5
多模态学习情感计算的发展建议
(一)降低数据采集的侵入性，平衡数据真实性与准确性
情感数据采集需要借助相关工具或设备，如视频监控、生理感知设备等。有调查显示，大部分学生认为课堂环境下应用监控设备是对隐私的侵犯[36];而生理信息采集需要特定传感设备的支持，其侵入性较大，难以保证数据的真实性[20]。可以说，相关设备的介入会引发学生的不适应，降低学习者的思维活跃度，数据真实性与准确性难以平衡，进而影响研究结果的可靠性[37]。在教育研究中，多模态情感数据采集应结合轻量型传感设备，进行伴随式采集多通道信息，将设备引发的干扰降到最低，力求情感数据的真实性。同时借助自我报告或专家观察的方式，收集学习过程中的质性数据，进一步增强分析结果的准确性。对于教育装备服务商而言，应加大轻量型传感设备的研发，以优化情感数据采集的设备与产品。
(二)提升数据模型可解释性，促进学习情感归因
由于多模态数据固有的特殊性，研究人员在处理与分析情感数据时常用到机器学习算法。而算法本身存在“黑箱”，即输入多模态情感数据，输出是学习情感类别，研究者无法检视算法模型是如何完成工作的，这也意味着模型的可解释度不高。因而，无法确定何种因素是激活消极情感的主导因素，给情感归因造成一定困难。针对上述问题，相关研究也不断探索提升数据模型可解释性的方法。其中，教育领域常用的解决方案是“灰盒”方法[10]。该方法认为，首先应根据相关理论与文献分析来确定所要提取的特征，然后利用机器学习进行必要的计算分析，期间严格遵循机器学习的应用边界，从而避免无法解释情感分析结果的局面。换句话说，“灰盒”方法旨在帮助研究人员找到最优手段(算法)，而非最优目标(输出)。目前“灰盒”方法已在多模态学习分析中展现出可观的应用潜力，未来研究可将此方法应用于多模态情感计算中，以降低学习情感归因的难度。
(三)综合衡量学习状态，增强学习干预精准性
情感支持的学习干预对学习结果有重要影响。然而，仅从学习情感的角度进行干预，没有建立学习情感与个体特征、学习行为等层面关联，导致无法全面感知学习者的学习状态，势必会影响学习干预的精准性。换句话说，学习情感是学习干预的必要不充分因素，还需综合衡量学习过程中的其他因素。未来研究一方面要将学习情感与可观测、可干预的个体特征结合，如认知能力、认知结构、学习态度等[38];另一方面需同步情感数据与学习行为数据，构建完整的“数据链条”。以此突破情感或学习行为的单一视角，从多方面综合考虑学习干预措施，以提升干预的精准性。
(四)拓展教育应用探索，推动情感计算实践创新
情感计算教育应用是为解决在线学习中“情感缺失”而发展起来，其应用集中于在线教育场景中。在多模态分析的推动下，学习情感计算的实践探索逐步从在线环境转向课堂环境。但受“路灯效应”影响，多模态情感计算的应用情境仍然较为局限，其广泛应用还存在一定距离。为满足情感计算在多元场景中的应用需求，未来研究应尝试物理情境、混合环境下情感数据的采集与分析，通过线上行为数据与线下情感信息结合，全面感知与持续跟踪学习者的学习状态。另外，多模态分析也适用于监测和分析儿童的情感反应与行为模式[39]，且儿童比成人更倾向于情感表达[40]，因而相关研究可探索低年龄段学习者的情感状态，以充分理解学习行为的发生机制，为教育改革与创新提供有效参考。
6
结 语
参考文献：
[1] WU C， HUANG Y， HWANG J. Review of affective computing in education/learning：trends and challenges[J]. British journal of educational technology， 2016， 47(6)：1304-1323.
[2] 李泽林，陈虹琴.人工智能对教学的解放与奴役——兼论教学发展的现代性危机[J].电化教育研究，2020，41(1)：115-121.
[3] PICARD R W. Affective computing[M]. Cambridge：MIT Press， 1997.
[4] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019(48)：108-119.
[5] 张琪，王红梅.学习投入的多模态数据表征：支撑理论、研究框架与关键技术[J].电化教育研究，2019，40(12)：21-28.
[6] LODERER K， PEKRUN R， LESTER J C. Beyond cold technology：a systematic review and meta-analysis on emotions in technology-based learning environments[J]. Learning and instruction， 2020(70)：1-15.
[7] MORENO R. Does the modality principle hold for different media? a test of the method-affects-learning hypothesis：modality principle[J]. Journal of computer assisted learning， 2006， 22(3)：149-158.
[8] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge：a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34(4)：338-349.
[9] NIGAY L， COUTAZ J. A design space for multimodal systems：concurrent processing and data fusion[C]//Proceedings of the SIGCHI conference on Human factors in computing systems-CHI '93. Amsterdam， The Netherlands：ACM Press， 1993：172-178.
[10] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics：a "grey-box" approach[J]. British journal of educational technology， 2019， 50(6)：3004-3031.
[11] D'MELLO S K，KORY J. A review and meta-analysis of multimodal affect detection systems[J]. ACM computing surveys，2015，47(3)：1-36.
[12] 李卿，任缘，黄田田，等.基于传感数据的学习分析应用研究[J].电化教育研究，2019，40(5)：64-71.
[13] JAQUES P A， VICARI R M. A BDI approach to infer student’s emotions in an intelligent learning environment[J]. Computers & education， 2007， 49(2)：360-384.
[14] PEKRUN R. The control-value theory of achievement emotions：assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review， 2006， 18(4)：315-341.
[15] LEUTNER D. Motivation and emotion as mediators in multimedia learning[J]. Learning and instruction， 2014(29)：174-175.
[16] MCGAUGH J L. Emotional arousal regulation of memory consolidation[J]. Current opinion in behavioral sciences， 2018(19)：55-60.
[17] SANDANAYAKE T C， MADURAPPERUMA A P. Affective e-learning model for recognising learner emotions in online learning environment[C]// International Conference on Advances in ICT for Emerging Regions. Colombo， Sri Lanka：IEEE， 2013：266-271.
[18] 汪维富，毛美娟.多模态学习分析：理解与评价真实学习的新路向[J].电化教育研究，2021，42(2)：25-32.
[19] TAO J， TAN T. Affective Computing：A Review[C]// TAO J， TAN T， PICARD R W. Affective Computing and Intelligent Interaction. Berlin：Springer， 2005：981-995.
[20] 叶俊民，周进，李超.情感计算教育应用的多维透视[J].开放教育研究，2020，26(6)：77-88.
[21] 周进，叶俊民，王志峰，等.国外情感分析教育应用的进展与启示[J].现代教育技术，2020，30(12)：34-40.
[22] HUSSAIN MD S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[G]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， et al. Intelligent Tutoring Systems. Berlin， Heidelberg：SpringerBerlin Heidelberg， 2012， 7315：78-83.
[23] EDWARDS A A， MASSICCI A， SRIDHARAN S， et al. Sensor-based methodological observations for studying online learning[C]//Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol：ACM Press， 2017：25-30.
[24] CHEN J， SHE Y， ZHENG M， et al. A multimodal affective computing approach for children companion robots[C]//Proceedings of the Seventh International Symposium of Chinese CHI on - Chinese CHI '19. Xiamen：ACM Press， 2019：57-64.
[25] D'MELLO S. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology[J]. Journal of educational psychology， 2013， 105(4)：1082-1099.
[26] D'MELLO S， CALVO R A. Beyond the basic emotions：what should affective computing compute? [C]//CHI '13 Extended Abstracts on Human Factors in Computing Systems on - CHI EA '13. Paris：ACM Press， 2013：2287- 2294.
[27] RAY A， CHAKRABARTI A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational technology & society， 2016， 19(4)：112-125.
[28] ASHWIN T S， GUDDETI R M R. Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks[J]. Education and information technologies， 2020， 25(2)：1387-1415.
[29] LIN H K， SU S， CHAO C， et al. Construction of multi-mode affective learning system：taking affective design as an example[J]. Educational technology & society， 2016， 19(2)：132-147.
[30] 薛耀锋，杨金朋，郭威，等.面向在线学习的多模态情感计算研究[J].中国电化教育，2018(2)：46-50，83.
[31] ASHWIN T S， GUDDETI R M R. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework[J]. User modeling and user-adapted interaction， 2020(30)：759-801.
[32] STANDEN P J， BROWN D J， TAHERI M， et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British journal of educational technology， 2020， 51(5)：1748-1765.
[33] LIN H K， WANG C， CHAO C， et al. Employing textual and facial emotion recognition to design an affective tutoring system[J]. The turkish online journal of educational technology， 2012， 11(4)：418-426.
[34] BAHREINI K， NADOLSKI R， WESTERA W. Communication skills training exploiting multimodal emotion recognition[J]. Interactive learning environments， 2017， 25(8)：1065-1082.
[35] WANG C， LIN H K. Emotional design tutoring system based on multimodal affective computing techniques[J]. International journal of distance education technologies， 2018， 16(1)：103-117.
[36] 郑祖伟，曹阳.教室里的电子眼在看什么[EB/OL].(2013-05-27)[2020-12-05].http：//edu.people.com.cn/n/2013/0527/c1053-2162 8580.html.
[37] 晋欣泉，王林丽，杨现民.基于大数据的在线学习情绪测量模型构建[J].现代教育技术，2016，26(12)：5-11.
[38] 樊敏生，武法提.数据驱动的动态学习干预系统设计[J].电化教育研究，2020，41(11)：87-93.
[39] CRESCENZI‐LANNA L. Multimodal learning analytics research with young children：a systematic review[J]. British journal of educational technology， 2020， 51(5)：1485-1504.
[40] BAKER R S J D.， D'MELLO S K， RODRIGO MA M T， et al. Better to be frustrated than bored：the incidence， persistence， and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments[J]. International journal of human-computer studies， 2010， 68(4)：223-241.
基金项目：
国家社科基金后期资助项目“基于短文本的学习分析理论与实践”(项目编号：20FTQB020)