[发明专利]一种基于肢体动作的情感识别系统及方法

说明书

本发明公开了一种基于肢体动作的情感识别系统及方法，包括肢体动作信息采集系统，肢体动作信息采集系统由摄像头和计算机分析装置组成，摄像头采集步肢体动作信息并传输至计算机分析装置进行分析处理。本发明从眼动实验研究情绪分类的前提出发，不再依赖于手工特征信息的提取方法，而是学习从深度学习的角度来提取肢体动作全局特征信息，利用新开发的TensorFlow,Python等软件，对肢体动作进行分类，并映射到对应的高兴，伤心和中性情绪中去。

技术领域

本发明涉及情感识别技术领域，具体为一种基于肢体动作的情感识别系统及方法。

背景技术

情绪识别是指从他人面部表情、语言声调和肢体动作中推断情绪信息的能力。近期，眼动研究在情绪识别方面的应用，在特征信息的提取上给基于深度学习识别研究情绪带来了很好的思路。在面部表情不显著时，利用肢体动作来识别情绪，基于2种基本的情绪(积极和消极，即高兴和伤心)和中性情绪作为情绪提取的数据依据，根据肢体动作来识别情绪，主要从图片分类和实时检测分类两个方面进行，收集大量的网球运动员的图片集，利用卷积神经网络对图片集在TensorFlow,Python,Jupyter,OpenCV环境下进行标注、训练、分类。肢体情绪识别通过获取人的生理或非生理的信号对情绪进行自动辨别，以更好地帮助人与人之间的交流以及实现友好自然的人-机交互。情绪是综合了人的感觉、思想和行为的一种状态。而且情绪一直都被视为人类非理性或者偏差的来源，影响人的思维和行事方式等。所以，正确识别情绪可以提高认知能力和社会交往能力。

情绪识别是当前人工智能和机器学习研究领域的热点问题，情绪识别目前多采用面部表情、身体行为和语音信号分析法。人和人之间近距离的接触交流的时候，可能关注的更多是对方的面部表情和声音来识别情绪；但是在远距离接触交流的时候无法识别面部表情或声音的情况下，需要通过肢体动作等其他信息来区别情绪。随着眼动分析技术的发展，通过眼动技术进行情绪图片认知与情绪评估有非常重要的实用价值和意义。眼动设备可以记录大量观察对象的位置信息，这些信息可以辅助人们寻找观察者的心理认知规律。当观察者目光注视不同观察对象的情绪并进行识别的时候，总会首先定睛在最关键的特征部位。随着计算机视觉技术的快速发展，人们越来越希望通过计算机自动的进行情感识别。而眼动实验的研究发展也给计算机识别情绪带来了很多的想法和设计思路。

随着技术的进步，信息呈现方式已经从单一的文本丰富到包括音频、图像、视频等多媒体数据在内的各种形式，信息数量更是飞速增长。文字相比于音频更加直接和易储存，而图像相比文字则能提供更加形象，具体的信息，是人们生活，学习交流的重要来源。人们识别图像时，大脑迅速地判断所看图像的重要信息(即特征信息)，并反映于眼睛虹膜，使眼睛虹膜能够更加准确的定位在包含特征信息的位置，再传输至大脑，对汇集的特征信息进行分析。在图像识别过程中，既要有当时判断识别的信息，也要有存储记忆信息的能力。这样才能实现对图像的识别再认，使训练存储大量的图像信息后，就能够直接利用训练后存储记忆的信息对图像实现随时识别。

图像识别的发展随着社会的不断进步，计算机图形学研究的不断深入，从较为简单的条形码识别到数字图像处理与识别，再到复杂的物体识别，图像识别的步伐一直在朝着越来越高端的方向发展，并能运用到日常生活中来。在研究图像识别的发展过程中，发现对于文字识别的研究是由字母、数字和符号入手的，从较为规整的印刷文字到较为复杂的手写文字，如近两年春节期间马云在支付宝发起的扫五福活动，可以说是极大的体现了图像识别在文字识别方面的极为迅速的发展。对于数字图像的处理开始于上个世纪六十年代，数字图像相比于模拟图像具有存储方便，传输简单，迅速，不易失真等方面的巨大优势。在文字识别和数字图像处理方向的进步促进了图像识别的研究发展。而对于复杂物体的识别，属于高级计算机的范畴，是结合人工智能、计算机视觉、计算机图像学等方面的过程，研究成果不断被应用于高端机器人，物体检测等方面。图像识别的主要目的是对图像、图片、景物、文字等信息经过处理和识别，来实现计算机与外部环境的直接通信过程。