[发明专利]手语视频的相似度评估模型的建立方法

权利要求书

1.手语视频的相似度评估模型的建立方法，其特征在于，该方法包括以下步骤：

(1)确定主观评估值：对随机抽取N个人的每个视频对进行整体相似度评估，并给出N个主观评分，然后对N个主观评分取平均值作为主观评估值，N为正整数；

(2)进行特征提取：对每个视频逐帧进行标注，包括肩、肘、腕三个关节位置的标注，并存储成.xml格式的文件，特征提取包括对用于轨迹评估的关节位置的提取和对用于轮廓评估的胳膊形态的提取，然后基于贪心算法提取出左右胳膊的样例库；

(3)进行视觉相似度评估：基于视频时空分布特征计算得到压缩视频签名，并通过计算视频签名距离进行视觉相似性度量；

(4)进行轮廓相似度评估：基于步骤(2)的样例库，将视频的每帧图像与样例库中的样例进行比较，提取出给定视频的胳膊形态序列，通过比较的匹配程度进行轮廓相似度的评估；

(5)进行运动轨迹相似度评估：基于步骤(2)的腕关节位置的标注，生成运动轨迹，并确定轨迹的距离，该距离即动态时间规整DTW失真度，然后将其转换到[0，1]区间作为其运动轨迹的相似度评估；

(6)进行模型融合：视觉相似度评估、轮廓相似度评估和运动轨迹相似度评估作为解释变量，步骤(1)的主观评估值作为响应变量，将解释变量与响应变量进行多元线性回归分析，然后融合成多元线性评估模型。

2.根据权利要求1所述的建立方法，其特征在于，所述步骤(2)包括以下分步骤：

(2.1)设定一个初始样例，并将其加入样例库；

(2.2)对采集的手语视频的每帧图像的肩、肘、腕三个关节的位置作为特征点与样例库中的样例进行比较；

(2.3)如果待比较的胳膊形态与样例库中所有样例的三个特征点的位置总差值超过阈值，则该胳膊为一个新样例，将其加入样例库中，执行步骤(2.2)；否则执行步骤(2.4)；

(2.4)结束。

3.根据权利要求2所述的建立方法，其特征在于，所述步骤(3)包括以下分步骤：

(3.1)根据以下公式得到视频对应的YC_bC_r直方图：

s＝2m₁+m₂+3m₃

m1=Σi=1NiYi;]]>m2=Σi=1NCbi;]]>m3=Σi=1NCri]]>

其中Y_i、Cb_i，Cr_i是归一化直方图区间频数，i为对应区间，频数按从大到小降序排列，N取64，m₁，m₂，m₃是加权值；

(3.2)根据视频帧的时空分布特性，视频签名形成了代表该视频特征的埋单序列，表示为v_m和v_d，计算公式如下：

vm=Σi=1Lsi/L;]]>vd=(Σi=1L(si-vm)2/L)12]]>

其中s_i是每帧图像的编码，L是视频的帧数；

(3.3)通过以下公式进行两视频片段的视觉相似度评估：

D=1-|vm1-vm2|+|vd1-vd2|max(vm1,vm2)+max(vd1,vd2).]]>