[发明专利]一种基于DTW距离的手语视频关键帧采样方法

权利要求书

1.一种基于DTW距离的手语视频关键帧采样方法，其特征在于，包括如下步骤：

步骤1、获取原始手语视频的原始手语帧序列；

步骤2、从所述原始手语帧序列中通过关键帧采样得到初始关键帧序列；

步骤3、以所述初始关键帧序列作为初始值，通过贪心算法从所述初始关键帧序列中计算得出与原始手语帧序列具有更高相似度的关键帧序列，所述初始关键帧序列与原始手语帧序列之间的相似度以DTW距离度量，DTW距离越小，则该初始关键帧序列与原始手语帧序列的相似度越高；

所述步骤3中，通过以下方式计算所得关键帧序列与原始手语帧序列之间的相似度，包括：

从原始手语帧序列X＝(x₁,x₂,…,x_T)得到的初始关键帧序列为Y＝(y₁,y₂,…,y_N)，序列X和Y为不等长序列，其中

构造尺度为T×N的矩阵M，该矩阵M中的每个元素为：M_ij＝||x_i-y_j||₂(1≤i≤T,1≤j≤N)；其中，||x_i-y_j||₂表示两帧之间的像素欧式距离，该像素欧式距离的大小与两帧之间的相似度的高低呈反相关；

在所述矩阵M中从始元素点(1,1)开始匹配序列X和Y，每到一个元素点对设定的累加距离γ(i,j)进行累加，到达终点(T,N)后，得出的累加距离γ(T,N)即为表示序列X和Y之间相似度的DTW距离，所述累加距离γ(i,j)为当前元素点M_ij与所有能到达该元素点的相邻元素点的累加距离的最小值之和：γ(i,j)＝M_ij+min(γ(i,j-1),γ(i-1,j),γ(i-1,j-1))；

以初始关键帧序列作为初始值，用下述贪心算法进行优化计算得出与原始手语帧序列具有更高相似度的关键帧序列，包括：

设置s₀＝1,s_N+1＝T,j*＝s₁,γ_min＝γ(X,Y)；

对于1≤i≤N：

对s_i≤j≤s_i+1进行遍历搜索，将y_i分别用x_j代替，得到新序列Y^*，计算新序列Y^*与X之间的累加距离γ(X,Y^*)，如果累加距离γ(X,Y^*)≤γ_min，则进行如下的替换操作：

j^*＝j，γ_min＝γ(X,Y^*)；

对s_i≤j≤s_i+1搜索遍历结束后，更新s_i＝j*，

将按上述处理得到的新序列Y^*作为新的关键帧序列；

步骤4、迭代进行所述步骤3的处理，获得不丢失所述初始关键帧序列特性并与原始手语帧序列具有最高相似度的关键帧序列，作为原始手语视频的最终关键帧序列；

所述步骤4中，迭代进行所述步骤3的处理的流程如下：

初始化设置：Y₁＝Y^*,n＝1,M＝1,F₁＝F(Y₁)＝(1-λ)*γ(X,Y₁)+λ*γ(Y,Y₁)；

对n进行C轮的迭代计算，即1≤n≤C：

计算Y_n+1＝A(Y_n)，F_n+1＝F(Y_n+1)＝(1-λ)*γ(X,Y_n+1)+λ*γ(Y,Y_n+1)；

如果F_n+1F_M则：M＝n+1；

在上述处理中，如果提前收敛到恒定解，即满足当n达到某个指定值时，F_n+1＝F_n对之后的所有n值都成立，则提前退出循环，否则就通过C控制循环的次数；

上述迭代处理中，F(Y₁)＝(1-λ)*γ(X,Y₁)+λ*γ(Y,Y₁)为新偏移函数，用于确定新生成的关键帧序列Y₁与原始手语帧序列X和初始关键帧序列Y的相似度，该新偏移函数中，Y₁是某个新生成的关键帧序列；γ(X,Y₁)和γ(Y,Y₁)是序列Y₁与序列X和Y之间的DTW距离；λ是权重因子，用来表示γ(X,Y₁)与γ(Y,Y₁)两者在该偏移函数中所占有的比重；

上述迭代处理中，将所述步骤3中对初始关键帧序列Y进行贪心算法优化的整个流程定义为A，Y^*＝A(Y)；

上述迭代处理的计算结果为：得到的最终关键帧序列为Y_M。