[发明专利]一种基于视频资料进行群体社交关系挖掘的方法

权利要求书

1.一种基于视频资料进行群体社交关系挖掘的方法，其特征在于：其步骤如下：

步骤一、对视频中人物图像进行预处理；

基于满足以下要求的各个视频素材数据：

(a)脸部信息：满足于人脸检测条件，不能是背影及全程处在检测不到的转动角度，时断时续的面部能使用；

(b)时间信息：视频的长短、清晰度及帧数；其中清晰度满足基本的人脸检测分辨率；

首先，对视频中的每一帧进行人脸检测，对得到的正方形脸部轮廓进行扩容，增加头发部分，并分别在两部分中绘制小长方形，其大小和位置均由人脸检测的轮廓大小决定；

其次，对小长方形中的各个像素取平均值，分别得到三种颜色的平均值，作为像素比例模型的参考值c_b、c_g、c_r；实现头发和面部的染色；染色是指把符合比例模型的点染成红色和紫色，分别代表头发和面部；

第三，得到头发染成红色，面部染成紫色的人脸；对像素数量进行统计，对比每一帧的变化情况，即红色若先增大后减小，并且变化超过一定阙值m，则判定为完成一次基本动作；紫色若先增大后减小，并且变化超过一定阙值m，则判定为完成一次基本动作；

第四，为完成一次上述基本动作的人物的Hs参数给定变化值δh；同时增加另两个影响参数Hs的变量，一个是人脸检测框架即dete框的偏移量，用来检测大幅度的脸部位移，如果连续n帧坐标偏移量的变化情况符合给定的规律，并且变化量达到设定的阙值s，则判定人物完成了一次基本动作；另一影响参数Hs的变量是消失的dete框所持续的帧数，用于解决时断时续的人脸检测框带来干扰的问题；解决方案是：m帧以内的框架消失保持其原有延续性，m帧以后若仍然持续消失，则其强度减小，给定Hs参数较小的变化值δh,呈现出递减趋势；

最后，将每一帧每个人物的活动系数Hs的总变化量A_r(d)存入二维数组，等待计算时调用；

步骤二、两人之间的相关性计算，绘制社交关系图，挖掘特征子图对应的群体关系；

2.1单人的活跃值；

在视频中以每k帧作为一段时间间隔，d表示k帧间隔内的第d帧；

A_r(d)＝Σ_n(δh)

其含义为第d帧中，人物完成了数量n次的基本动作后累计的变化值，δh代表每次完成不同基本动作对应的不同变化值，r为人物编号，d代表第d帧；

其含义为第y段时间间隔内A_r(d)参数的平均值；从d＝1开始，到d＝k结束，y表示第y段时间间隔；r为人物编号，d代表第d帧；

2.2每两人之间的相关性计算；

每两个人物之间做一次相关性计算即Cross Correlation；

时；

时；

的含义为第y段时间间隔中，(l,r)两人在时间差为τ时的相关性数值总和的平均值；其中τ的正负用于判断指向性，τ0和τ0分别代表两个不同方向的箭头指向；

表示在第y时间段，时间差τ∈(-k,k)的范围内，不同τ值对应的不同中，筛选出两人相关性数值总和平均值中的最大值，并保留其对应的τ值用于判断箭头指向；

2.3绘制社交关系图，简称社交图；

对群组中所有的两人间的最大相关性系数进行排序，设定选取条件，在符合条件的所有(l,r)两人之间进行画线，绘制成第y段时间间隔的社交图；社交图是群组关系挖掘的基础；

2.4挖掘特征子图对应的群组；

社交图能拆分为射线顶点、三角形、星型、四边形、五边形特征子图；特征子图如下：

射线顶点结构，即两条射线有相同顶点；对应Tn参数；

三角形结构，即三人之间均有连线，形成三角形；对应Tr参数；

星形结构，即射线顶点结构的拓展，指多条射线交于一点；对应Tn参数；

直线结构，代表两人之间的连线，具有普遍性，出现在各个场景中；直线结构中包括顺势直线连接，指各个人物之间的连线最终只形成一条折线；对应Lt参数；

综合分析各特征子图对应的群组，为群组关系的分析和预测提供准备工作；

步骤三、群组关系的分析和预测；

3.1定义相关变量：

定义了Te、Tr、Tn、Lt、Ct、Hs、R、Ji、Jt、9个变量用于接下来的计算；其中Ct是矩阵，其他参数均是一维数组，矩阵与数组中的排序号对应视频中各个人物编号l、r；

1)Te参数反映了讲话效率，初始为0，若每次出现星型后的有限帧内出现了不包含本人物的三角形，此时增加人物Te参数的变化量δn；另一种情况是，统计每次出现星型时此人物的外指向箭头数量，并增加相应Te值的变化量δn；

2)Tr参数反映了参与度，初始为0，每次出现三角形时，三角形内的出现人员的Tr值变化δn；

3)Tn参数对应讲话次数，初始为0，每次出现星型时，顶点处人物的Tn值变化δn；

4)Hs参数对应动作的频繁程度和幅度，与讲话次数Tn之间不完全独立；其中f为视频总帧数；根据预处理的每一帧中完成各个基本动作情况进行赋值，若达到标准，则Hs参数增加A_r(d)变化量；

5)参数R＝Te/Tn；直观意义是讲话有效的比率；

6)Ji,Jt均为箭头指向性参数，根据每条线段的指向性，将各个人物的Ji、Jt值变化δn；若箭头为外指向，则Jt参数变化δn，若箭头为内指向，则Ji参数变化δn；Jt也决定Te参数，当人物满足出现在星型顶点的条件时，Te＝Te+Jt(d)；其中Jt(d)表示第d帧的Jt值；d代表帧数；

7)Ct和Lt参数反映了群组中两人之间交互作用程度；Lt参数代表两人的连线次数，若出现连线，则数值变化δn；Ct矩阵表示两人的讲话交互程度，其计算方法是提取出连续的星型序列，将序列中前后连续出现的两个人物视为一次交互，存入对应编号的矩阵位置，为(l,r)，对矩阵数值进行排序，筛选出群体中交互程度强及弱的人物间关系；

能将参数归纳为三个系列，分别用于判断群体交互度、主导性、动作频率和幅度；

3.2群组关系挖掘的分析方法；

首先，分析Ji,Jt频率分布，挖掘出群组关系中主导力强的人物与偏向被动的人物；其次，通过Tn，Hs频率分布，对各人物讲话次数与出现动作频率进行排序；第三，分析Te，Tr，R频率分布，对各个人物的讲话效力与参与程度进行排序；第四，通过Lt频率分布，对两人关系的强弱进行排序；最后，分析Ct矩阵数据，对人物之间讲话配合程度、交互度进行排序；

3.3群组关系挖掘预测；

综合上文所有信息对四人场景群组关系即从左至右顺序进行预测：

群体交互方面：1号与2号人物之间有少量谈话，有简单交谈，且效果良好，交互度高，配合程度高；2号人物相比于1号人物，与3号4号人物关系更密切；2号4号人物更可能处于讲话状态，其中2号更活跃，4号次之；3号人物参与度很高，讲话作用效果高，但讲话活跃度小，能推断为讲话内容吸引人，不无聊；另外，3号4号两人间的交互配合也非常良好，说明两人有交流过程，关系及话题上有潜在的默契；

主导性方面：2号4号明显偏高，4号人物最高；4号人物既健谈，讲话效力又高，参与度又好，因此预测主导性较2号更强；2号人物存在一定的矛盾，即既有主导性，又有一被动型；

动作方面：1号2号动作偏多，推测3号4号少有头部动作，也能推断1号虽参与度低，但不处于脱离群体状态；

尝试用语言还原实测的四人场景：1,2号人物，2,3号人物，3,4号人物之间分别有良好交流过程，存在更密切的交谈；整体四人关系密切，一种是朋友间情绪高昂的聊天场景，从亲密程度来讲，能判定大部分人为朋友关系，高于陌生人关系；另一种是1号2号与其他人是对立关系，但从地位与姿态角度分析，其威望很高，处于谈判场景，及开会场景；

预测结果中大部分符合实际情况，真实场景中，1号为母亲，2号是女儿，3号是儿子，4号为父亲；四人处于在医院看望老人，在走廊聊天场景，其中谈话氛围幽默，人物之间的配合也符合前文推断假设；并给出最终显著性画线；

步骤四、单人的动作表达与所处状态分析：

从群组关系分析和预测中，能进一步提炼出单人的动作表达与性格特征；

4.1单人动作表达；

首先，判断人物是否活跃，头部动作是否较多；其次，分析人物讲话的次数、是否健谈；第三，判断人物讲话是否效力高，作用效果是否好，是否对他人产生影响，讲话起到作用；最后，判断人物的主导力高低，行为偏主动还是被动；

1号人物整体处于倾听状态，有少量讲话；2号人物讲话多，在语言和动作方面表现的更为活跃，语气诙谐，内容中肯及进行总结发言，总之能够引人入胜；3号人物也有少量时间参与进谈话，并发表看法，但相对安静，活跃度略低；4号人物讲话时间略少；

4.2单人所处状态预测：

4号更是德高望重的人物及长辈，有权威，有力量，1号人物紧随其后，实力强但少于言表；2号3号人物是前两人下属，及威望略低，姿态更低的人物；其中2号更善于活跃气氛，讲话偏多，但不属于无用讲话，在发表观点及调节气氛；另外2号人物较3号人物性格体现更加矛盾的性格，更是个性强，及存在两极分化的内外情绪；

预测结果中大部分符合实际情况；真实场景中，1号为母亲，2号是女儿，3号是儿子，4号为父亲；四人处于在医院看望老人，在走廊聊天场景，其中谈话氛围幽默，人物之间的配合也符合前文推断假设；并给出最终显著性画线；

其中，人脸检测，计算像素平均值，绘制图形，只保留计算所需要的信息。