[发明专利]基于视频情绪动作识别的潜意识行为挖掘系统及其处理方法

权利要求书

1.一种基于视频情绪动作识别的潜意识行为挖掘系统，其特征是，它包括：

一视频数据采集及预处理模块：包括视频数据采集装置和数据预处理装置，用于视频数据采集和数据预处理，构建情绪视频和动作视频数据集；

一视频的情绪和动作识别模块：结合情绪视频数据集和动作视频数据集，依据特征变化规律，计算个体表达的情绪和动作标签；

一动作的潜意识行为挖掘模块：通过采集并分析选定多时段、多频次视频集合的视频数据为载体，挖掘其特定人物的潜意识行为。

2.根据权利要求1所述的基于视频情绪动作识别的潜意识行为挖掘系统，其特征是，处理方法为：

1)采用所述视频数据采集及预处理模块的视频数据采集装置，构建动作视频数据集A、情绪视频数据集E以及包含特定人物的长时间视频S，并获取S中特定人物的视频片段，其中A包含90个集体潜意识动作，E包含39种情绪；所述的获取S中特定人物视频片段，具体为:选取包含特定人物面部的图片I，拆分S为帧集合F＝{F₁,F₂,...,F_n},其中F_i为视频中任一帧图片，构建I和F_i的128维面部编码其中分别为I和F_i中面部的第y维特征向量，计算V与V_Fi的欧氏距离若D0.4，则判定F_i帧出现特定人物，同时记录该帧时间戳T_i，将其加入时间戳列表T_list＝[T₁,T₂,...T_i，T_i+1..T_n]，记t＝T_i+1-T_i,若t1.5,则截取该段视频Z_i,形成特定人物的视频数据集Z＝{Z₁,Z₂,...Z_i...,Z_n}；

2)采用所述视频数据采集及预处理模块的数据预处理装置，提取视频数据集A、E、Z中人体各个关键点的位置坐标，并组合各帧的身体与面部关键点序列B＝{b₀,b₁,..,b_i...b₈₇}，其中b_i为第i个关键点，B包括18个身体关键点和70个面部关键点，b₀-鼻子，b₁-脖子，b₂-左肩，b₃-左肘部，b₄-左手腕，b₅-右肩，b₆-右肘部，b₇-右手腕，b₈-左臀部，b₉-左膝盖，b₁₀-左脚踝，b₁₁-右臀部，b₁₂-右膝盖，b₁₃-右脚踝，b₁₄-左眼，b₁₅-右眼，b₁₆-左耳，b₁₇-右耳，b_18-34-下巴，b_35-44-眉毛，b_45-53-鼻子，b_54-59-左眼，b_60-65-右眼，b_66-85-嘴部，b_86-87-左右眼瞳孔；以b₀-鼻子的位置为原点进行平移，分别获得平移后的人体关键点帧序列AZ＝{A₁,A₂,...A_i...A_n}、EZ＝{E₁,E₂...E_i...E_n}、CZ＝{C₁,C₂...C_i...C_n}，其中A_i＝{B₁,B₂,.B_i..,B_n}，B_i为A_i视频中第i帧身体与面部关键点序列集合，n表示A_i视频的帧数，A_i表示数据集AZ中第i个视频各帧关键点序列的集合；与B_i，A_i相同，E_i，C_i即数据集EZ，CZ第i个视频的关键点序列集合，AZ，EZ，CZ分别表示数据集A，E，Z经平移后的所有视频关键点序列集合；

3)采用所述视频的情绪和动作识别模块，结合情绪视频数据集和动作视频数据集，依据特征变化规律，计算个体表达的情绪和动作标签，包括通过提取时空特征序列的方法分别训练AZ和EZ，达到动作和情绪特征的有效识别；基于AZ和EZ为CZ进行对应动作和情绪标签的标注，令CZ的动作视频标签集合为T_action＝{T_a1,T_a2,.T_ai..,T_an}，an≤90，情绪视频标签集合为T_emotion＝{T_e1,T_e2,..T_ei..,T_en},en≤39,T_ai＝{ai₁,ai₂,.ai_y..,ai_n},T_ei＝{ei₁,ei₂,.ei_y..,ei_n}，其中T_ai，T_ei分别表示标注的某动作与情绪类别下的视频集合，ai_y与ei_y分别表示第y个视频中各帧关键点序列的集合；

4)采用所述动作的潜意识行为挖掘模块，通过采集并分析选定多时段、多频次视频集合的视频数据为载体，挖掘其特定人物的潜意识行为，包括：

①构建关键点结构单元序列与视频信息序列，根据T_ei构建关键点结构单元序列KS＝[d₁,d₂...d_i...,d₁₅]，其中d_i是第i帧B集合中b₁关键点到b₀-鼻子的欧式距离，每15帧构成KS中的一个元素，构建T_ei的信息序列集合KSZ＝[KS₁,KS₂,...KS_i....,KS_n]，其中KS_i为第i个KS；

②挖掘情绪动作关键点的频繁项集,使用Apriori算法对KSZ进行频繁项集挖掘，得到T_emotion情绪视频集下T_ei中KSZ的频繁k-项集X＝{x₁,x₂,...x_i...,x_k}，其中x_i为挖掘后的关键点结构单元序列，k是项集数目；对X按照支持度大小进行排序，取支持度最大的前10个；然后，根据所述步骤4)的①和②分别计算B集合中的所有关键点，生成各个关键点的支持度前10的频繁项集总集合；

③针对支持度前10的频繁项集总集合，把T_action中能够识别的T_ai的动作标签，构建潜意识动作集为其中即在T_ei情绪下频繁产生动作

④计算频繁项集所对应的潜意识动作在T_ei下的占比，记为在T_ei标签下的含有动作的视频总量，N_emotion为T_ei的视频总量，则占比计算公式对P进行排序，取占比最大的前4个动作M＝{M₁,M₂,M₃,M₄}，其中M为T_action的子集合，即M集合为此特定人物在T_ei下的潜意识行为。