[发明专利]一种唇语识别系统

权利要求书

1.一种唇语识别系统，其特征在于，包括：人机交互界面和算法模块；所述人机交互界面和所述算法模块通过信号槽连接；

所述人机交互界面，用于获取待识别的视频；

所述算法模块，用于对所述待识别的视频进行唇语识别得到唇语识别结果；

所述人机交互界面，还用于展示所述唇语识别结果，并按时序展示唇语识别过程。

2.如权利要求1所述的系统，其特征在于，所述算法模块包括：

固定帧抽取子模块，用于基于半随机抽取固定帧策略从待识别的视频中抽取进行处理的视频帧；

分割子模块，用于从进行处理的视频帧中分割嘴唇图像，得到嘴唇数据集；

识别子模块，用于基于设计的模型对所述嘴唇数据集中的各嘴唇图像进行识别得到唇语识别结果。

3.如权利要求2所述的系统，其特征在于，所述识别子模块，包括：

特征提取单元，用于对嘴唇图像进行特征提取得到图像特征，并对各卷积层的嘴唇图像以及图像特征进行切片操作，得到可视化的各卷积层嘴唇图像和高维图像特征；

时序特征提取单元，用于对所述图像特征进行时序特征提取得到序列特征，并对所述序列特征的进行切片操作，得到可视化的序列特征；

分类单元，用于对提取到的时序特征进行分类，得到唇语识别结果。

4.如权利要求3所述的系统，其特征在于，所述特征提取单元为卷积神经网络CNN。

5.如权利要求3所述的系统，其特征在于，所述时序特征提取单元为循环神经网络RNN。

6.如权利要求3所述的系统，其特征在于，所述分类单元为softmax分类器。

7.如权利要求3所述的系统，其特征在于，所述人机交互界面包括：

选择视频选项，用于当被触发时获取待识别的视频；

识别视频选项，用于当被触发时对所述待识别的视频进行唇语识别得到识别结果；

可视化选项，用于当被触发时将唇语识别过程和所述唇语识别结果基于可视化需求设置的配置文件进行展示；

其中，展示内容包括待识别的视频帧、从所述视频帧中分割得到的嘴唇图像、可视化的各卷积层嘴唇图像、可视化的高维图像特征、可视化的序列特征和/或所述待识别的视频对应的至少一个识别结果。

8.如权利要求2所述的系统，其特征在于，所述固定帧抽取子模块具体用于：

基于先验条件确定所需抽取的固定帧数；

将待识别的视频按照总体视频帧数量划分多个区域块；

其中，每个区域块中的区域范围最大化的平均。

9.如权利要求2所述的系统，其特征在于，所述待识别的视频，包括：

基于至少一个采集设备对同一个目标对象采集待识别的视频。

10.如权利要求1所述的系统，其特征在于，所述人机交互界面通过PyQt5框架进行设计与搭建。