[发明专利]一种基于视频的随机手势认证方法及系统

权利要求书

1.一种基于视频的随机手势认证方法，其特征在于，包括以下步骤：

选择注册模式或认证模式；

输入用户名，采集用户随机手势视频；

对随机手势视频进行预处理；

将预处理后的动态手势视频输入到随机手势特征提取器，提取出包含用户生理特征和行为特征的特征向量，所述随机手势特征提取器是时间差分共生神经网络模型进行训练和测试后得到的随机手势特征提取器；其中，时间差分共生神经网络模型包括残差生理特征提取模块、共生行为特征提取模块、基于行为特征的模长的特征融合模块和帧间差分模块，所述残差生理特征提取模块将随机手势视频作为输入，用于提取生理特征；所述帧间差分模块用于对输入视频和残差生理特征提取模块中各层的输出特征进行相邻帧相同通道的相减，得到差分特征，并将每一个差分特征的所有通道进行逐元素求和，得到差分伪模态；所述共生行为特征提取模块将手势视频差分伪模态作为输入，用于提取行为特征；所述基于行为特征的模长的特征融合模块将生理特征和行为特征进行特征融合；

在注册模式时，将输入的用户名和提取出的随机手势的特征向量添加至手势模板数据库；在认证模式时，首先提取用户名在手势模板数据库中对应的多个特征向量，然后计算与待认证用户特征向量的余弦距离，并将最小的余弦距离与阈值比对，如果低于阈值，则认证通过，否则认证不通过，其中，所述阈值是指根据应用场景人工设定的认证阈值。

2.根据权利要求1所述的一种基于视频的随机手势认证方法，其特征在于：所述采集用户随机手势视频中，随机手势无需记忆，只需要即兴执行一段手势即可进行注册和认证。

3.根据权利要求1所述的一种基于视频的随机手势认证方法，其特征在于：所述对随机手势视频进行预处理，包括：从动态手势视频截取T帧手势片段，然后进行逐帧的中心裁剪、图像大小调整和图像标准化，最终截取的视频大小为(T,C,W,H)，其中T为帧数，C为通道数，W为图像宽度，H为图像高度。

4.根据权利要求1所述的基于视频的随机手势认证方法，其特征在于：所述随机手势特征提取器是时间差分共生神经网络模型进行训练和测试后得到的随机手势特征提取器，包括：

对若干用户的若干随机手势进行N帧视频采集，并记录对应的用户名，形成随机手势视频数据集；

对随机手势视频数据集进行处理，从随机手势视频数据集的画面中剪切手势动作区域并进行图像大小调整，最终数据集大小为(P,Q,N,C,W,H)，其中P为采集用户个数，Q为每个用户执行随机手势个数，N为每段随机手势视频帧数，C为视频帧通道数，W为视频帧的宽度，H为视频帧的高度；

将随机手势视频数据集分为训练集和测试集对时间差分共生神经网络模型进行训练和测试，其中，对测试集中的样本在相隔预设时间后采集多人的随机手势作为第二阶段的测试集；

在训练阶段，对随机手势视频进行随机T帧手势片段的截取，并进行预处理；将经过预处理的随机手势视频通过时间差分共生神经网络模型前向传播得到融合特征，然后输入损失函数，并通过反向传播对时间差分共生神经网络模型进行优化；

在测试阶段，对随机手势视频进行中间T帧手势片段的截取，并进行图像标准化处理，然后输入时间差分共生神经网络获得融合特征，用于距离计算。

5.根据权利要求1所述的一种基于视频的随机手势认证方法，其特征在于，通过所述残差生理特征提取模块得到生理特征的步骤为：将T帧随机手势图像并行输入18层卷积神经网络进行前向传播；通过全局平均值池化和全连接操作，将生理特征表示为T×fdim维特征向量；将T×fdim维特征向量在时间维度平均得到fdim维的生理特征向量，fdim表示特征向量的维数。

6.根据权利要求1所述的一种基于视频的随机手势认证方法，其特征在于，通过所述共生行为特征提取模块得到行为特征的步骤为：输入随机手势视频，通过所述帧间差分模块处理获得随机手势视频差分伪模态；将随机手势视频差分伪模态输入共生行为特征提取模块；每经过一次卷积操作后，将上一层的输出与代表相应的残差生理特征的差分伪模态进行通道维度的拼接；通过全局平均池化和全连接操作，将行为特征表示为fdim维特征向量，fdim表示特征向量的维数。