[发明专利]一种唇语关键词检测方法、装置、设备及存储介质

权利要求书

1.一种唇语关键词检测方法，其特征在于，包括以下步骤：

通过DNN方法训练，得到一个二分类的DNN模型；

基于所述DNN模型，判断待检测的唇语视频中的每帧唇部图片的讲话状态，分离出所述唇语视频的讲话片段和非讲话片段；整个唇语视频分为8个状态：未知状态、讲话开始状态、讲话状态、讲话结束状态、非讲话开始状态、非讲话状态、非讲话结束状态、结束状态；

提取所述讲话片段，并通过唇语识别模型提取查询样例和讲话片段的每一帧唇部图片的特征，作为后验概率特征；所述唇语识别模型具体用于：通过三维卷积和二维Densenet提取唇部图片序列的视觉特征；通过resBi-sLSTM解码所述视觉特征；通过CTC损失函数对解码视觉特征进行训练；

基于所述后验概率特征构建相似度矩阵图；其中，具体为：

将查询样例的后验概率特征与讲话片段的后验概率特征进行向量点积运算，取对数获得相似度矩阵图；其中，向量点积运算及取对数的过程为：

其中，且，和分别代表查询样例和唇语片段的帧数，计算得到的相似度矩阵的值越高，则表示这两个向量之间的相似度越高；

通过卷积神经网络分类模型对所述相似度矩阵图进行二分类，判断唇语视频中是否存在关键词。

2.根据权利要求1所述的一种唇语关键词检测方法，其特征在于，还包括：

在所述讲话开始状态之前和所述讲话结束状态之后，补一段非讲话帧，以防止判断过程中的误判。

3.根据权利要求1所述的一种唇语关键词检测方法，其特征在于，还包括：

对所述相似度矩阵的值做归一化计算，使相似度矩阵中的所有值都处于区间内，计算过程如下：

4.根据权利要求1所述的一种唇语关键词检测方法，其特征在于，所述卷积神经网络分类模型具体用于：

通过6层卷积、2层maxpool、自适应均值池化和全连接层构建；

通过负对数似然损失函数进行训练。

5.根据权利要求4所述的一种唇语关键词检测方法，其特征在于，所述负对数似然损失函数对softmax的输出概率取对数后的值进行损失函数计算，公式如下：

其中，N代表N个数据，是真实标签对应的one-hot编码，代表标签是第类，是softmax取对数后的输出。

6.一种唇语关键词检测装置，包括

训练模块，用于通过DNN方法训练，得到一个二分类的DNN模型；

分离模块，用于基于所述DNN模型，判断待检测的唇语视频中的每帧唇部图片的讲话状态，分离出所述唇语视频的讲话片段和非讲话片段；整个唇语视频分为8个状态：未知状态、讲话开始状态、讲话状态、讲话结束状态、非讲话开始状态、非讲话状态、非讲话结束状态、结束状态；

提取模块，用于提取所述讲话片段，并通过唇语识别模型提取查询样例和讲话片段的每一帧唇部图片的特征，作为后验概率特征；所述唇语识别模型具体用于：通过三维卷积和二维Densenet提取唇部图片序列的视觉特征；通过resBi-sLSTM解码所述视觉特征；通过CTC损失函数对解码视觉特征进行训练；

构建模块，用于基于所述后验概率特征构建相似度矩阵图；将查询样例的后验概率特征与讲话片段的后验概率特征进行向量点积运算，取对数获得相似度矩阵图；其中，向量点积运算及取对数的过程为：

其中，且，和分别代表查询样例和唇语片段的帧数，计算得到的相似度矩阵的值越高，则表示这两个向量之间的相似度越高；

分类模块，用于通过卷积神经网络分类模型对所述相似度矩阵图进行二分类，判断唇语视频中是否存在关键词。

7.一种唇语关键词检测设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述处理器用于运行所述计算机程序以实现如权利要求1-5任意一项所述的一种唇语关键词检测方法。

8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序能够被所述存储介质所在设备的处理器执行，以实现如权利要求1-5任意一项所述的一种唇语关键词检测方法。