来源:中国科学院 更新时间:2012-04-14
| 傅小兰 (中国科学院心理研究所 北京 100101) 摘要 当今世界已步入电子社会的时代，人们开始期盼计算机像人一样具有情感，能与人进行自然和谐、亲切生动的智能交互。情感计算旨在通过赋予计算系统识别、理解、表达和适应人的情感的能力，来建立和谐人机环境，并使计算机具有更高的、全面的智能。开展情感计算研究，既有助于构建和谐的电子社会，也有益于推进心理科学的发展，让已经到来的电子社会和蓬勃发展的心理科学相得益彰。 关键词 情感计算，人?蛳计算机交互，电子社会 当今世界已步入电子社会的时代。电子政务、电子商务、电子银行、电子学校、电子图书、电子战争、电子游戏等，应接不暇的电子信息渗透到社会生活的每个角落。愈来愈多的人采用键盘、鼠标、触摸屏或手写笔与普通的台式机、便携的笔记本或灵巧的掌上电脑打交道，处理常规工作与日常生活中的各种电子信息。人与计算机交互，人脑与电脑配合，是现代人生活的重要标志之一。 随着计算机成为现代人工作和生活中的必备品，并扮演着日益重要的角色，人们普遍希望能拥有并使用更为人性化和智能化的计算机，甚至开始期盼计算机能像人一样具有情感，能与人进行自然和谐、亲切生动的智能交互。但计算机真能具有情感能力并体会人的喜怒哀乐和见机行事吗？ 1 情感计算研究方兴未艾 让计算机具有情感能力的观点并不新鲜，它与“机器人”一词几乎同时出现。1985年，人工智能的奠基人之一Minsky就明确指出：“问题不在于智能机器能否有情感，而在于没有情感的机器能否实现智能”[1]。但当时，赋予计算机或机器人以人类式的情感，主要还是科幻小说中的素材，在学术界罕有人关注。这种状况直到1997年美国麻省理工学院媒体实验室Picard的专著《情感计算》问世才宣告结束。Picard提出了“情感计算”(affective computing)，并将之界定为“与情感有关、由情感引发或刻意影响情感的计算”[2]。 情感计算一经提出，就备受学术界和企业界的关注。它逐渐被众多国际顶尖实验室接受，相关研究专项纷纷设立，系统研发工作如火如荼，主题学术会议此起彼伏。情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能[3]。要实现情感计算，涉及到一系列理论和技术，具体研究内容包括：(1)情感机理和描述，即研究人的情感状态的判定以及生理和行为的关系，为情感计算提供理论基础；(2)情感信号的获取和量化，即通过各种设备记录情感信号，如语音、面部表情、手势、站姿等体态语以及脉搏、皮肤电等生理指标；(3)情感信号的分析、建模与识别，即对采集的情感信号进行分析，基于情感机理模型，识别出人的情感状态；(4)情感理解和反馈，即理解情感信号识别的结果，分析人的情感产生的原因，并做出合理、恰当的情感反应；(5)情感合成与表达，即通过计算机交互设备向用户表达情感；(6)人机交互的实现，即形成一个完整的情感交流过程，实现自然和谐的人机交互。 Picard情感计算研究小组侧重于情感信号的获取(如各类传感器的研制)与识别，开发可穿戴设备，探讨人机交互中的情感反馈机制，研制能够用肢体语言表达情感的机器人。日本文部省设立“情感信息的信息学、心理学研究”重点基金项目，许多日本学者热衷于感性(Kansei)信息处理，开发的情感机器人“小IF”，可觉察对方声音中微妙的感情变化，并在对话中通过自己表情的变化表达喜怒哀乐，迎合对方的性格和癖好。欧盟也把情感计算列入研究计划。英国伯明翰大学开展“认知与情感的研究”。瑞士政府成立了情感科学中心。日内瓦大学成立了情绪研究实验室。布鲁塞尔大学建立了情绪机器人研究组。 伦敦帝国学院研究人类眼睛活动与大脑感知之间的关系，发明了红外线感应装置“眼标”，如果用户盯住屏幕上的某个图标1秒以上，电脑就会自动进行相应的操作。与此类似，IBM实施“蓝眼计划”，使计算机“未卜先知”，知道用户想干什么。例如，当你看地图时，计算机可以找到你感兴趣的地点，并主动介绍其风土人情。IBM研制的情感鼠标可以测量脉搏、体温、皮肤电反应等生理指标。BIOPIA公司也推出了情感鼠标，它由一个可以感受脉搏跳动的光学鼠标和一个自动香水喷射器组成，一旦鼠标监测到用户因为情绪不稳定而导致脉搏异常跳动，香水喷射器便会加快喷射香水的频率，以平复用户的心情。SimGraphics公司于1994年开发了虚拟演员系统，通过用户戴上的装有触及脸不同部位的传感器的头盔，来控制计算机生成表情图像。英国电信公司也成立了情感计算研究小组，应用情感计算技术改进呼叫中心，使其更加人性化：遇到十分无礼的用户时，具有情感意识的语音识别系统会提醒话务员保持冷静；处理完这类电话后，系统会安慰和鼓励话务员，帮助他们调节情绪。 我国也开展了一系列的情感计算研究。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。如中科院自动化所、清华大学、南京航空航天大学等机构都在从事情感语音的研究；自动化所研制的智能轮椅，让用户利用头部姿态控制其转动；中科院计算技术所探讨情绪的知识模型，提出多功能感知技术，研究带有表情和动作的虚拟人；哈尔滨工业大学研究多功能情感机，并与海尔公司合作研究服务机器人；北京工业大学进行多功能感知机同情感计算的融合研究；东南大学开展基于核典型相关分析的面部表情识别研究等。 国家自然科学基金委员会于2004年批准实施重点项目“情感计算理论与方法研究”，清华大学与中科院心理所的情感计算中心(简称ACCenter)[4]，将计算机科学与认知心理学相结合，研究认知与情绪的交互作用，对情感计算理论和关键技术进行探讨；引入并修订了PAD(Pleasure Arousal Dominance)模型，使复杂情感可以计算；建立了大规模动态情感数据资源库，同步采集了视频、音频、生理等数据，以及使用简化版PAD情感量表对情感实时评价的数据；抽取视频、脸像、行为和语音中的情感信息，研究情感识别与合成。 2 情感机理研究厚积薄发 人随时随地都会有喜怒哀乐等情感的起伏变化。情感计算研究在很大程度上依赖于心理科学和认知科学对人的智能和情感研究取得新进展。我们需要知道人是如何感知环境、会产生怎样的情感和意图、如何做出恰当的反应，才能帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。而人的情感交流是个十分复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，且有表情、语言、动作或身体的接触。 每种情感都具有独特的主观体验--个体对不同情感状态的自我感受。它如同调色板上的色彩或者调味瓶中的味道：快乐时会伴随喜悦的主观体验，就像明亮的颜色和甜甜的滋味；悲伤时会伴随痛苦的主观体验，就像灰暗的颜色和苦涩的滋味。要准确评估情感的主观体验，必须首先确定情感的维度。ACCenter引入PAD三维情感模型[5]，对简化版PAD情感量表进行中国化修订[6]，建立了中国常模，构建出中国人的三维情感空间模型，搭建了情感与计算之间的桥梁。 情感是一种内部的主观体验，但总是伴随着某种外部表现--表情。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要外部标志。例如，愉快时额眉平展、面颊上提、嘴角上翘，而悲伤时额眉紧锁、嘴角下拉。使用特定的仪器可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑。 姿态表情是除了面部以外身体其他部分的表情动作。如，狂喜时捧腹大笑；悔恨时捶胸顿足；我们用手势表示强调；身体某一部位若不停地动则反映了情绪紧张。虽然姿态表情不像面部表情那样能用于细微地区分各种情感，且其变化规律性较难获取，但由于人的姿态变化会使情感表述更加生动，因而研究者依然对姿态表情的测量表示了强烈的关注。针对人的肢体运动，科学家专门设计了一系列运动和身体信息捕获设备，例如运动捕获仪、数据手套、智能座椅等。 语调表情通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。如愤怒时声调升高、语速加快；悲伤时语调低沉、语速缓慢。在人际交往中，语音是人们最直接的交流通道，通过语音人很容易就感受到对方的情感变化。就像“你真行!”这句话，既可表示赞赏，也可表示讽刺或妒忌。情感语音研究目前主要侧重于对情感的声学特征进行分析。 ACCenter正在设法将人类情绪应用于虚拟说话人的面部表情动作，通过自然生动的头部运动和面部表情使虚拟说话人的言语更具表现力：利用PAD模型，将计算机无法直接理解的文本语义转化为可以刻画度量的情感三维空间，再将文本情感的PAD量化结果与视频中的运动轨迹进行对比建模，建立了PAD三维情感数据和人脸头部动作参数之间的关联模型，可以直接用PAD情感数据驱动合成与话语表达配合的头部运动。 任何情感都会伴随脑部的电生理变化，以及全身外周神经、内分泌系统等一系列的生理变化，而这种生理状态又会进一步增强情感的主观体验(如吓出一身冷汗后体验到的后怕)。由于伴随情感发生的生理唤醒几乎不受人的主观意志控制，所以生理指标(如皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等)成为测量情感的一个相对客观的指标。记录这些生理指标需要使用特定的设备和技术。 3 情感计算应用前景广阔 从智能机器到情感机器，情感计算研究将为人类提供更加人性化、情感化的服务和产品，创造更加美好的生活。 一台拥有情感能力的计算机，能对人类的情感进行识别和响应，能有效地减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。Picard小组设计了一个情感对话系统，虚拟人“Laura”可以通过文字界面与用户交流锻炼身体的心得：锻炼者完成目标时，Laura会赞扬他；若锻炼者未完成目标，Laura则会鼓励他。经过一段时间的“相处”后，大多数用户都更主动地锻炼并愿意与Laura继续交流，甚至有人认为Laura非常有魅力。 在远程教育平台中，情感计算技术的应用可以进一步优化计算机辅助学习的功能。例如，帮助教师监测到远程学生的情感变化，调整教学方式和方法，实时给予情感反馈，使教学质量达到最佳。Picard小组研制的情感计算系统，通过记录学习者面部表情的摄像机和连接在学习者身上的生物传感器采集情感信号，“情感助理”程序可识别学习者的情感状态并进行相应调整：如果发现学习者对电视讲座的一段内容表现出困惑，“情感助理”会重放该片段或者给予解释。 情感计算技术有力地推进了可穿戴的计算机系统的发展，以及智能、便携式个人身体保健与监护系统的开发。例如，通过接触式情感信号采集装置可以测量穿戴者的呼吸、心率、血压、出汗、体温、肌肉反应、皮肤电等信号，判断出穿戴者的情感状态，并“对症下药”，提出保健建议或发布健康警报。该系统穿戴者可以包括食物或环境过敏者、糖尿病人员等。 情感计算技术还能帮助我们增加使用设备的安全性。例如，司机安全行车的智能监控系统可以动态监测驾驶人员的情感状态，并提出适时警告。非接触式情感信号采集装置采集的图像信号(如每分钟眨眼次数)可用于监测司机面部表情的乏意，语音信号(如语音速度、音调变化、音量强度、嗓音质量、发音清晰度等)可用于识别司机回答问题的语言迟钝性，当系统探测到司机精力不集中或者情感发生变化时，可随时提醒司机，并可进行自动控制，及时改变车的状态和反应。 情感计算在电子商务领域也大有用武之地。例如，购物网站和股票交易网站在设计时研究和考虑影响人的情绪的一些媒体因素，将对客流量的上升产生非常积极的影响。虽然人们往往很难明确说出自己的喜好，但在看到自己心仪的设计时，情感却会准确无误地告诉我们“这就是我想要的!”。因此，计算机可以在用户浏览设计方案时，记录其情感反应，自动分析其偏好。 在信息家电和智能仪器中，增加自动感知人们的情绪状态的功能，可以提供更好的服务。情感CD可以根据人的情感或喜好自动选曲播放。情感地毯可根据脚的压力自动生成各种音乐。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。在机器人、智能玩具、游戏等相关产业中，利用多模式的情感交互技术，可构筑更拟人化的风格、更贴近人们生活的智能空间或更加逼真的虚拟场景等。未来的棋类机将可以模拟各种情感类型棋手，如进攻型或防御型棋手的情感行为，进而提升用户的娱乐兴趣。通过可穿戴设备和游戏手柄等外设，游戏软件可以感知游戏者的情感状态，了解游戏者的偏好，而游戏者的化身可通过一些动作来表现这种情感变化，使游戏更逼真：游戏者吃惊时，其化身会猛然向后跳去；游戏者感到恐惧时，其化身会发抖。 4 结语 从系统论的角度看，无论是人与人的交往，还是人与计算机的交互，都存在和谐的问题。情感计算研究将不断深化对人的情感状态和机制的理解，提高人和计算机交互界面的自然和谐性，这不仅有助于构建和谐的电子社会，而且有益于推进心理科学的发展，让已经到来的电子社会和蓬勃发展的心理科学相得益彰。 情感计算研究目前仍面临诸多挑战。例如，情感信息的获取与建模、情感识别与理解、情感表达以及自然和谐的人性化和智能化的人机交互的实现等问题。但毋庸置疑，通过计算科学、心理科学与认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人与计算机交互环境，将有可能实现人与计算机的情感交互。展望现代科技的潜力，我们预期在未来社会中，将会有大量的操作容易、运作良好的具有情感特征的计算机面世。 主要参考文献 1 Marvin Minsky. The society of mind. New York: Simon & Schuster, 1985. 2 Picard R W. Affective Computing. London: MIT Press, 1997. 3 胡包钢，谭铁牛，王珏. 情感计算--计算机科技 发展的新课题. 科学时报，2000年3月24日. 4 情感计算中心. http://www.accenter.cn/default.htm 5 Albert Mehrabian. Framework for a comprehensive description and measurement of emotional states. Genetic, Social and General Psychology Monographs, 1995(121): 339-361. 6 Xiaoming Li, Haotian Zhou, Shengzun Song et al. The reliability and validity of the Chinese version of abbreviated PAD emotion scales. In Tao J, Tan T and Picard R W (Eds.): Affective Computing and Intelligent Interaction. Springer-Verlag Berlin Heidelberg，2005: 513-518. Affective Computing Benefits to Harmonious Electronic Society Fu Xiaolan (Institute of Psychology，CAS 100101 Beijing) We are now in a new era of electronic society. Computers are expected to have the abilities to influence or be influenced by human emotions and to interact with people more naturally and kindly. Affective computing aims at computing which endows a computing system with the abilities to recognize, understand, express, and respond to human emotion in a collaborative spirit to improve human affective experience with technology as well as to have computers with self-contained and self-sufficient intelligence. Affective computing research is of great benefit to both a harmonious electronic society and the development of psychological science. Keywords affective computing, human-computer interaction, electronic society 傅小兰 中国科学院心理研究所副所长、研究员、博士生导师，脑与认知科学国家重点实验室副主任。从事认知心理学研究，主要关注人的基本认知过程、信息加工机制、知识表征和认知绩效，并致力于应用认知心理学的理论和方法解决人与计算机交互中的心理与行为问题。在国内外核心刊物发表论文170余篇，主编了《电子社会与当代心理学名著译丛》等重要著作。E-mail:fuxl@psych.ac.cn |