[发明专利]手语视频的相似度评估模型的建立方法

摘要

公开了一种融合视觉特征和语义特征的手语视频的相似度评估模型的建立方法，包括以下步骤：(1)确定主观评估值；(2)进行特征提取：对每个视频逐帧进行标注并存储成.xml格式的文件，基于贪心算法提取出左右胳膊的样例库；(3)进行视觉相似度评估；(4)进行轮廓相似度评估；(5)进行运动轨迹相似度评估；(6)进行模型融合：视觉、轮廓和运动轨迹相似度评估作为解释变量，主观评估值作为响应变量，将解释变量与响应变量进行多元线性回归分析，然后融合成多元线性评估模型。

主权项

手语视频的相似度评估模型的建立方法，其特征在于，该方法包括以下步骤：(1)确定主观评估值：对随机抽取N个人的每个视频对进行整体相似度评估，并给出N个主观评分，然后对N个主观评分取平均值作为主观评估值，N为正整数；(2)进行特征提取：对每个视频逐帧进行标注，包括肩、肘、腕三个关节位置的标注，并存储成.xml格式的文件，特征提取包括对用于轨迹评估的关节位置的提取和对用于轮廓评估的胳膊形态的提取，然后基于贪心算法提取出左右胳膊的样例库；(3)进行视觉相似度评估：基于视频时空分布特征计算得到压缩视频签名，并通过计算视频签名距离进行视觉相似性度量；(4)进行轮廓相似度评估：基于步骤(2)的样例库，将视频的每帧图像与样例库中的样例进行比较，提取出给定视频的胳膊形态序列，通过比较的匹配程度进行轮廓相似度的评估；(5)进行运动轨迹相似度评估：基于步骤(2)的腕关节位置的标注，生成运动轨迹，并确定轨迹的距离，该距离即动态时间规整DTW失真度，然后将其转换到[0，1]区间作为其运动轨迹的相似度评估；(6)进行模型融合：视觉相似度评估、轮廓相似度评估和运动轨迹相似度评估作为解释变量，步骤(1)的主观评估值作为响应变量，将解释变量与响应变量进行多元线性回归分析，然后融合成多元线性评估模型。