[发明专利]基于视频情感标注辅助识别面部表情的方法

说明书

技术领域

 本发明属于用户行为领域，具体的说，是涉及一种基于视频情感标注辅助识别面部表情的方法。

背景技术

随着数字技术的发展，视频数据也开始呈现快速增长的趋势，电视、电影摄像设备正在不断地提供更多的视频数据。在这种背景下，利用计算机从庞大的视频数据信息中挖掘特定的信息成为一个热点问题。视频的情感分析指的是利用计算机自动分析视频可能给观众情感上带来的主观反应。比如区分影片中恐怖的、紧张激烈的、浪漫的或开心的等不同的感情元素。对视频的情感属性的分析不仅可以帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。

现有技术中，在针对个体用户进行情感及心理分析时，需要对受访者进行面对面的沟通，以问答的方式进行，从而了解用户的性格及表达习惯，这种方式从时间到空间上成本都很高，因此难以被广泛接受，受众覆盖也很有限；而现有技术中的面部表情的识别方法，主要是基于可见光图像的人脸识别，但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要；另外，解决光照问题的方案有三维图像人脸识别，和热成像人脸识别，但这两种技术的识别效果不尽人意。

专利文件201310413648.7提供了一种基于表情识别的人机情感交互系统及方法；系统包括图像采集模块、图像处理模块、表情识别模块、人机交互模块和统计与存储模块；通过图像采集模块采集人脸图像，利用图像处理模块对所采集的人脸图像进行灰度化及尺寸调节等处理，利用表情识别方法识别人脸图像的表情，人机交互模块根据人脸表情提供回应给使用者；利用统计与存储模块分析得到人物此时的心理状态并进行记录，同时提供统计查询功能给使用者，但是，这种方法的计算复杂，步骤繁多，成本高且不易于实施等。

因此，如何研发一种基于视频情感标注辅助识别面部表情的方法，解决上述问题，便成为亟待解决的技术问题。

发明内容

本申请解决的主要问题是提供一种基于视频情感标注辅助识别面部表情的方法，以解决无法实现的从时间到空间上降低成本，更易于了解用户的性格及表达习惯的技术问题。

为了解决上述技术问题，本发明公开了一种基于视频情感标注辅助识别面部表情的方法，其特征在于，包括：

通过客户端采集不同的视频播放过程中的用户一侧的表情信息；

利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；

将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；

将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。

优选地，其中，所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步为：

当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；

当判断该视频已建立的映射关系中包含该表情数据，则退出。

优选地，其中，利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据，进一步的，所述表情信息，包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶， 

利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；

利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；

利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；

利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。

优选地，其中，通过客户端采集不同的视频播放过程中的用户一侧的表情信息，进一步为：

通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息, 所述客户端为移动终端和/或非移动终端。

优选地，其中，所述预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。

与现有技术相比，本申请所述的基于视频情感标注辅助识别面部表情的方法，达到了如下效果：

1）本发明利用人脸识别技术，将视频播放过程中的面部表情转换为表情数据，归类后得到用户对视频的表情反应，还能够得出用户的兴趣爱好，整个采集过程从时间到空间上成本极大降低，更易于实施。