[发明专利]基于视频情绪动作识别的潜意识行为挖掘系统及其处理方法

说明书

本发明提供了一种基于视频情绪动作识别的潜意识行为挖掘系统及其处理方法，基于视频情绪动作识别的潜意识行为挖掘系统包括：视频数据采集及预处理模块，视频的情绪和动作识别模块，动作的潜意识行为挖掘模块。基于视频情绪动作识别的潜意识行为挖掘系统将视频中个体表现出的情绪特征与潜意识行为特征联系起来，挖掘个体在某种情绪下的潜意识行为，为提取个体的潜意识行为提供了重要途径，其识别准确率高，速度快。

技术领域

本发明涉及计算机视觉领域，是一种基于视频情绪动作识别的潜意识行为挖掘系统及其处理方法。

背景技术

潜意识能够直接或间接地影响人的行为，它是没有明确目的或者至少自己没有感知和意识到行为目的的行为，通常受不同情绪的影响。潜意识行为属于潜意识的激发和刺激阶段，它具有较强的情感驱动力。通过采用智能化的视频分析手段，挖掘一个人的潜意识行为，有利于及时掌握人的情绪变化，可避免出现难以控制的危险情况的发生。

目前，主流的动作识别研究大部分针对视频帧的图像特征，这些特征的提取过程会受到光线、距离及视频清晰度等因素的干扰，对后续研究干扰性较大。且多是对动作进行分类的研究，都是一些如跑跳走这些日常动作的识别分类，致力于动作的潜意识行为挖掘的研究较少，对于个体潜意识行为的有效提取并没有统一的标准。因此，需要有效的将视频中个体表现出的情绪特征与潜意识行为特征联系起来，挖掘个体在某种情绪下的潜意识行为。

发明内容

本发明的目的在于，从视频中挖掘特定人物的潜意识行为特点，将个体情绪特征与动作特征进行综合分析，挖掘出情绪特征点的频繁项集，提出一种科学合理、实用性强的基于视频情绪动作识别的潜意识行为挖掘系统及其处理方法，从骨骼关键点的角度分析潜意识行为的动作规律，为提取个体的潜意识行为提供了重要途径。

实现本发明目的采用的技术方案是：一种基于视频情绪动作识别的潜意识行为挖掘系统，其特征是，它包括：

一视频数据采集及预处理模块：包括视频数据采集装置和数据预处理装置，用于视频数据采集和数据预处理，构建情绪视频和动作视频数据集；

一视频的情绪和动作识别模块：结合情绪视频数据集和动作视频数据集，依据特征变化规律，计算个体表达的情绪和动作标签；

一动作的潜意识行为挖掘模块：通过采集并分析选定多时段、多频次视频集合的视频数据为载体，挖掘其特定人物的潜意识行为。

进一步，处理方法为：

1)采用所述视频数据采集及预处理模块的视频数据采集装置，构建动作视频数据集A、情绪视频数据集E以及包含特定人物的长时间视频S，并获取S中特定人物的视频片段，其中A包含90个集体潜意识动作，E包含39种情绪；所述的获取S中特定人物视频片段，具体为:选取包含特定人物面部的图片I，拆分S为帧集合F＝{F₁,F₂,...,F_n},其中F_i为视频中任一帧图片，构建I和F_i的128维面部编码其中分别为I和F_i中面部的第y维特征向量，计算V与V_Fi的欧氏距离若D0.4，则判定F_i帧出现特定人物，同时记录该帧时间戳T_i，将其加入时间戳列表T_list＝[T₁,T₂,...T_i，T_i+1..T_n]，记t＝T_i+1-T_i,若t1.5,则截取该段视频Z_i,形成特定人物的视频数据集Z＝{Z₁,Z₂,...Z_i...,Z_n}；