[发明专利]一种目标信息的识别方法及设备

权利要求书

1.一种目标信息的识别方法，其特征在于，包括：

若接收到待识别的视频文件，则对所述视频文件进行解析，得到所述视频文件的图像轨道数据以及音频轨道数据；

提取所述图像轨道数据中每一视频图像帧的图像特征值；

基于所述图像特征值检测各个所述视频图像帧是否包含目标信息，并标记包含所述目标信息的所述视频图像帧；

对所述音频轨道数据进行语音识别，确定所述音频轨道数据对应的台词文本；

若所述台词文本包含所述目标信息关联的特征关键词，则在所述音频轨道数据中标记所述特征关键词的音频段落；

基于标记的所述视频图像帧以及所述音频段落，生成所述视频文件的目标信息记录；

所述对所述音频轨道数据进行语音识别，确定所述音频轨道数据对应的台词文本，包括：

对所述音频轨道数据进行傅里叶变换，生成所述音频轨道数据的频域数据；

根据所述频域数据以及人体可发声频段范围，将所述频域数据划分为环境音频段数据以及人声频段数据；

基于所述环境音频段数据，确定所述视频文件的拍摄场景信息；

对所述人声频段数据进行逆傅里叶变换，得到人声轨道数据，并对所述人声轨道数据进行语音识别，确定对话文本；

根据所述拍摄场景信息以及所述对话文本，生成所述台词文本。

2.根据权利要求1所述的识别方法，其特征在于，所述提取所述图像轨道数据中每一视频图像帧的图像特征值，包括：

对所述视频图像帧进行轮廓识别处理，获取所述视频图像帧内拍摄主体的轮廓信息，并根据所述轮廓信息从所述视频图像帧中截取各个拍摄主体的区域图像；

通过预设的视觉组神经网络的五层池化层对所述拍摄主体的区域图像进行降维，得到该拍摄主体的视觉特征向量；其中，所述五层池化层具体为：

V₁(A_mn)＝mp₁(3，64，A_mn)；

V₂(A_mn)＝mp₂(3，128，V₁(A_mn))；

V₃(A_mn)＝mp₃(3，256，V₂(A_mn))；

V₄(A_mn)＝mp₄(3，512，V₂(A_mn))；

V₅(A_mn)＝mp₅(1，1，V₄(A_mn))；

其中，所述A_mn为拍摄主体的区域图像；所述V₁(A_mn)、V₂(A_mn)、V₃(A_mn)以及V₄(A_mn)分别为第1到第4层池化层降维后的输出向量；所述V₅(A_mn)为所述视觉特征向量；所述m为所述拍摄主体的区域图像的行数；所述n为在所述拍摄主体的区域图像的列数；

将各个所述视觉特征向量导入所述视觉组神经网络的全连接层，输出所述视频图像帧的所述图像特征值。

3.根据权利要求1-2任一项所述的识别方法，其特征在于，在所述基于标记的所述视频图像帧以及所述音频段落，生成所述视频文件的目标信息记录之后，还包括：

对标记的所述视频图像帧进行图像模糊处理，生成模糊处理后的视频图像帧；

对所述音频段落进行消音处理，生成消音后的音频段落；

根据所述模糊处理后的视频图像帧以及所述消音后的音频段落修改所述视频文件，并发布修改后的所述视频文件。

4.根据权利要求1-2任一项所述的识别方法，其特征在于，所述基于所述图像特征值检测各个所述视频图像帧是否包含目标信息，包括：

基于拍摄对象索引表，确定所述图像特征值对应的拍摄对象；

检测所述拍摄对象是否在所述目标信息关联的特征对象列表。