[发明专利]一种基于视频资料进行群体社交关系挖掘的方法

摘要

本发明提供一种基于视频资料进行群体社交关系挖掘的方法，其步骤如下：一、对视频中人物图像进行预处理；二、两人之间的相关性计算，绘制社交关系图，挖掘特征子图对应的群体关系；三、群组关系的分析和预测；四、单人的动作表达与所处状态分析；通过以上步骤，本发明从内容更丰富的视频数据素材中挖掘数据，能够解决视频中多人人物复杂关系的实际问题，从而有效地对各种场景中的多人关系进行量化和评价；本发明支持未来对各个实际生活场景的实时分析，可以对多人复杂场景中的人物关系分析提供强有力的方法支撑。

主权项

一种基于视频资料进行群体社交关系挖掘的方法，其特征在于：其步骤如下：步骤一、对视频中人物图像进行预处理；本发明基于满足以下要求的各个视频素材数据：(a)脸部信息：满足于人脸检测条件，不能是背影及全程处在检测不到的转动角度，时断时续的面部能使用；(b)时间信息：视频的长短、清晰度及帧数；其中清晰度满足基本的人脸检测分辨率即可；首先，对视频中的每一帧进行人脸检测，对得到的正方形脸部轮廓进行扩容，增加头发部分，并分别在两部分中绘制小长方形，其大小和位置均由人脸检测的轮廓大小决定；其次，对小长方形中的各个像素取平均值，分别得到三种颜色的平均值，作为像素比例模型的参考值cb、cg、cr；用以实现自动给定参考值的效果；其原因是，头部和面部的像素在很多场景中拥有特定的颜色数值比例，三种颜色存在一定的相对稳定的比例关系，能适用于不同场景，并在不同的光线下保持比例关系的稳定；但是比例关系基于参考值cb、cg、cr，而参考值cb、cg、cr在不同环境不同光线中差异性很强；因此，以往在测试中参考值通常要事先测定好，然后进行相同环境下的测试，以实现头发和面部的染色；染色是指把符合比例模型的点染成红色和紫色，分别代表头发和面部；因此，设置小长方形的自动检测机制，以确保在每一帧中，即使光线不同，出现场景变化，也能自动对目标像素进行染色；第三，我们已经得到头发染成红色，面部染成紫色的人脸；我们对像素数量进行统计，对比每一帧的变化情况，即红色若先增大后减小，并且变化超过一定阙值m，则判定为完成一次基本动作；紫色若先增大后减小，并且变化超过一定阙值m，则判定为完成一次基本动作；第四，我们为完成一次上述基本动作的人物的Hs参数给定变化值δh；同时增加另两个影响参数Hs的变量，一个是人脸检测框架即dete框的偏移量，用来检测大幅度的脸部位移，如果连续n帧坐标偏移量的变化情况符合给定的规律，并且变化量达到设定的阙值s，则判定人物完成了一次基本动作；另一影响参数Hs的变量是消失的dete框所持续的帧数，用于解决时断时续的人脸检测框带来干扰的问题；我们的解决方案是：m帧以内的框架消失保持其原有延续性，m帧以后若仍然持续消失，则其强度减小，给定Hs参数较小的变化值δh,呈现出递减趋势；最后，我们将每一帧每个人物的活动系数Hs的总变化量Ar(d)存入二维数组，等待计算时调用；步骤二、两人之间的相关性计算，绘制社交关系图，挖掘特征子图对应的群体关系；1.单人的活跃值；在视频中以每k帧作为一段时间间隔，d表示k帧间隔内的第d帧；Ar(d)＝Σn(δh)其含义为第d帧中，人物完成了数量n次的基本动作后累计的变化值，δh代表每次完成不同基本动作对应的不同变化值，r为人物编号，d代表第d帧；Aryarv＝{Σd＝1k(Ar(d))}/k其含义为第y段时间间隔内Ar(d)参数的平均值；从d＝1开始，到d＝k结束，y表示第y段时间间隔；r为人物编号，d代表第d帧；2.每两人之间的相关性计算；每两个人物之间做一次相关性计算即Cross Correlation；Fτy(l,r)＝{Σd＝1(k‑t)|(Aly(d)‑Alyarv)(Ary(d+τ)‑Aryarv)|}/(k‑τ)(τ>0)时；Fτy(l,r)＝{Σd＝1(k+t)|(Aly(d‑τ)‑Alyarv)(Ary(d)‑Aryarv)|}/(k+τ)(τ<0)时；Fτy(l,r)(τ<0)≡Fτy(r,l)(τ>0)Fτy(l,r)的含义为第y段时间间隔中，(l,r)两人在时间差为τ时的相关性数值总和的平均值；其中τ的正负用于判断指向性，τ>0和τ<0分别代表两个不同方向的箭头指向；Fmaxy(l,r)＝max(Fτy(l,r)),(‑k<τ<k)Fmaxy(l,r)表示在第y时间段，时间差τ∈(‑k,k)的范围内，不同τ值对应的不同Fτy(l,r)中，筛选出两人相关性数值总和平均值中的最大值，并保留其对应的τ值用于判断箭头指向；3.绘制社交关系图(简称“社交图”)；对群组中所有的两人间的最大相关性系数Fmaxy(l,r)进行排序，设定选取条件，在符合条件的所有(l,r)两人之间进行画线，绘制成第y段时间间隔的社交图；社交图是群组关系挖掘的基础；4.挖掘特征子图对应的群组；社交图能拆分为射线顶点、三角形、星型、四边形、五边形特征子图；特征子图介绍如下：射线顶点结构，即两条射线有相同顶点；对应Tn参数；三角形结构，即三人之间均有连线，形成三角形；对应Tr参数；星形结构，即射线顶点结构的拓展，指多条射线交于一点；对应Tn参数；直线结构，代表两人之间的连线，具有普遍性，出现在各个场景中；直线结构中包括顺势直线连接，指各个人物之间的连线最终只形成一条折线；对应Lt参数；综合分析各特征子图对应的群组，为群组关系的分析和预测提供准备工作；步骤三、群组关系的分析和预测；1.定义相关变量：我们定义了Te、Tr、Tn、Lt、Ct、Hs、R、Ji、Jt、9个变量用于接下来的计算；其中Ct是矩阵，其他参数均是一维数组，矩阵与数组中的排序号对应视频中各个人物编号l、r；1)Te参数反映了讲话效率，初始为0，若每次出现星型后的有限帧内出现了不包含本人物的三角形，此时增加人物Te参数的变化量δn；另一种情况是，统计每次出现星型时此人物的外指向箭头数量，并增加相应Te值的变化量δn；2)Tr参数反映了参与度，初始为0，每次出现三角形时，三角形内的出现人员的Tr值变化δn；3)Tn参数对应讲话次数，初始为0，每次出现星型时，顶点处人物的Tn值变化δn；4)Hs参数对应动作的频繁程度和幅度，与讲话次数Tn之间不完全独立；Hs＝Σi＝1fAr(d)；其中f为视频总帧数；根据预处理的每一帧中完成各个基本动作情况进行赋值，若达到标准，则Hs参数增加Ar(d)变化量；5)参数R＝Te/Tn；直观意义是讲话有效的比率；其作用与Te类似但不完全相同；6)Ji,Jt均为箭头指向性参数，根据每条线段的指向性，将各个人物的Ji、Jt值变化δn；若箭头为外指向，则Jt参数变化δn，若箭头为内指向，则Ji参数变化δn；需要说明的是，Jt也决定Te参数，当人物满足出现在星型顶点的条件时，Te＝Te+Jt(d)；其中Jt(d)表示第d帧的Jt值；d代表帧数；7)Ct和Lt参数反映了群组中两人之间交互作用程度；Lt参数代表两人的连线次数，若出现连线，则数值变化δn；Ct矩阵表示两人的讲话交互程度，其计算方法是提取出连续的星型序列，将序列中前后连续出现的两个人物视为一次交互，存入对应编号的矩阵位置，如(l,r)，对矩阵数值进行排序，筛选出群体中交互程度强及弱的人物间关系；综上，我们能将参数归纳为三个系列，分别用于判断群体交互度、主导性、动作频率和幅度；2.群组关系挖掘的分析方法；首先，分析Ji,Jt频率分布，挖掘出群组关系中主导力强的人物与偏向被动的人物；其次，通过Tn，Hs频率分布，对各人物讲话次数与出现动作频率进行排序；第三，分析Te，Tr，R频率分布，对各个人物的讲话效力与参与程度进行排序；第四，通过Lt频率分布，对两人关系的强弱进行排序；最后，分析Ct矩阵数据，对人物之间讲话配合程度、交互度进行排序；3.群组关系挖掘预测；我们综合上文所有信息对实例中四人场景群组关系即从左至右顺序进行预测：群体交互方面：1号与2号人物之间有少量谈话，有简单交谈，且效果良好，交互度高，配合程度高；2号人物相比于1号人物，与3号4号人物关系更密切；2号4号人物更可能处于讲话状态，其中2号更活跃，4号次之；3号人物参与度很高，讲话作用效果高，但讲话活跃度小，能推断为讲话内容吸引人，不无聊；另外，3号4号两人间的交互配合也非常良好，说明两人有交流过程，关系及话题上有潜在的默契；主导性方面：2号4号明显偏高，4号人物最高；4号人物既健谈，讲话效力又高，参与度又好，因此预测主导性较2号更强；2号人物存在一定的矛盾，即既有主导性，有有一被动型；动作方面：1号2号动作偏多，我们推测3号4号少有头部动作，也能推断1号虽参与度低，但不处于脱离群体状态；我们尝试用语言还原实测的四人场景：1,2号人物，2,3号人物，3,4号人物之间分别有良好交流过程，存在更密切的交谈；整体四人关系密切，一种是朋友间情绪高昂的聊天场景，从亲密程度来讲，能判定大部分人为朋友关系，高于陌生人关系；另一种是1号2号与其他人是对立关系，但从地位与姿态角度分析，其威望很高，处于谈判场景，及开会场景；综上所述，预测结果中大部分符合实际情况，真实场景中，1号为母亲，2号是女儿，3号是儿子，4号为父亲；四人处于在医院看望老人，在走廊聊天场景，其中谈话氛围幽默，人物之间的配合也符合前文推断假设；并给出最终显著性画线；步骤四、单人的动作表达与所处状态分析：从群组关系分析和预测中，我们能进一步提炼出单人的动作表达与性格特征；1.单人动作表达；首先，判断人物是否活跃，头部动作是否较多；其次，分析人物讲话的次数、是否健谈；第三，判断人物讲话是否效力高，作用效果是否好，是否对他人产生影响，讲话起到作用；最后，判断人物的主导力高低，行为偏主动还是被动；实例中，1号人物整体处于倾听状态，有少量讲话；2号人物讲话多，在语言和动作方面表现的更为活跃，语气诙谐，内容中肯及进行总结发言，总之能够引人入胜；3号人物也有少量时间参与进谈话，并发表看法，但相对安静，活跃度略低；4号人物讲话时间略少；2.单人所处状态预测：4号更是德高望重的人物及长辈，有权威，有力量，1号人物紧随其后，实力强但少于言表；2号3号人物是前两人下属，及威望略低，姿态更低的人物；其中2号更善于活跃气氛，讲话偏多，但不属于无用讲话，在发表观点及调节气氛；另外2号人物较3号人物性格体现更加矛盾的性格，更是个性强，及存在两极分化的内外情绪；综上，预测结果中大部分符合实际情况；真实场景中，1号为母亲，2号是女儿，3号是儿子，4号为父亲；四人处于在医院看望老人，在走廊聊天场景，其中谈话氛围幽默，人物之间的配合也符合前文推断假设；并给出最终显著性画线；其中，人脸检测，计算像素平均值，绘制图形，只保留计算所需要的信息；通过以上步骤，本发明从内容更丰富的视频数据素材中挖掘数据，能够对更广泛视频素材进行分析处理，如在朋友聊天、工作讨论、商务谈判不同场景中应用；支持实时计算，能转化为计算机能够识别和处理的数据；在更多维度上进行综合分析，记录群组关系变化，解决关系多变性的问题，得到颗粒化更小，更加深刻的人群交互关系；从而解决视频中多人人物复杂关系的实际问题，有效地对各种场景中的多人关系进行量化和评价；本发明支持未来对各个实际生活场景的实时分析，能对多人复杂场景中的人物关系分析提供强有力的方法支撑。