[发明专利]一种基于红外微光望远镜的多源融合唇语识别方法和系统

说明书

本发明公开了一种基于红外微光望远镜的多源融合唇语识别方法和系统，方法包括获取红外热成像视频和微光视频，提取唇部区域的红外热成像图像数据和微光图像数据；使用多源融合唇语识别模型对唇部区域的红外热成像图像数据和微光图像数据进行识别，得到识别出的文本；将识别出的文本显示或发送至其他接收设备。本发明所提供的方法，为在复杂光照环境、远距离和特殊应用场合提供了更加安全可靠的信息获取与交互方式，弥补了单一视频数据来源特征提取和唇部图像识别的局限性，通过多源数据特征融合建模极大地提高了唇语识别的准确性，拓展了唇语识别技术的应用范围和场景，为唇语识别技术的发展提供了新的方向。

技术领域

本发明属于语音识别领域，特别涉及一种基于红外微光望远镜的多源融合唇语识别方法和系统。

背景技术

基于唇部图像的语音解析是通过唇部动作来解析说话者所说的内容。近年来，国内在唇语识别方面发展速度十分迅速。例如，搜狗联合清华天工研究院共同设计了基于模态重要程度的注意力机制，使模型可以自适应调整模态权重来融合音视觉特征。2019年，中科院计算所发布了目前最大规模的中文词级唇读数据集LRW-1000，其包含了复杂的变化条件，包括唇部角度、光照、语速等，模拟了自然条件下唇部样本的分布，为今后国内外中文唇读研究者提供了更丰富的标准研究样本。虽然唇语识别技术在性能方面有了较大突破，但其准确率受光线、角度、训练模型等因素的影响较大，特别是在光照亮度较低、距离使用者或被观察者较远时无法获取有效的图像数据。这种唇部图像的获取方式限制了唇语识别的应用环境与场合，无法满足如战术侦察、进攻目标信息获取等特殊应用需求。

基于红外和微光成像融合的望远镜可用于环境侦察、目标对象追踪、抢险救援等多种场合，具有侦察距离远、范围广，方便携带和适应性好等特点。红外热成像系统不受光照条件限制，可以全天候工作，具有较强的穿透雾、霾、雨、雪等极端气象条件的能力，作用距离更远。而微光成像响应速度快，敏感于目标对象的反射，分辨率较高。通过红外微光融合的望远镜进行不同光照条件下的远距离观测和目标视频图像获取，可以获取目标对象的多源面部图像数据，根据其面部信息进行唇语识别，从而更快速准确地得到目标对象的交互信息和意图。这种唇部图像获取方式弥补了传统唇语识别系统的数据采集限制，拓宽了唇语识别技术的应用领域与场合，提高了唇语识别系统的识别准确度，也为特殊应用场景如与特种作战提供了更加安全可靠的信息获取途径。

发明内容

本发明提出了一种基于红外微光望远镜的多源融合唇语识别方法，包括：

获取红外热成像视频和微光视频，提取唇部区域的红外热成像图像数据和微光图像数据；

使用多源融合唇语识别模型对唇部区域的红外热成像图像数据和微光图像数据进行识别，得到识别出的文本；

将识别出的文本显示或发送至其他接收设备。

进一步地，所述对获取红外热成像视频和微光视频，提取唇部区域的红外热成像图像数据和微光图像数据包括：

采集红外热成像视频和微光成像视频后，将视频数据进行分帧，得到目标对象的红外热成像图像序列和微光图像序列；

根据所述目标对象的红外热成像图像和微光图像进行人脸检测和唇部区域标记，得到目标对象唇部区域的红外热成像图像数据和微光图像数据；

所述根据所述目标对象的红外热成像图像序列和微光图像序列进行人脸检测和唇部区域标记，得到目标对象唇部区域的红外热成像图像数据和微光图像数据包括：

使用动态多帧平均算法对红外热成像图像序列进行降噪；使用帧间差分法确定目标对象开始说话时的图像起始点和终止点；根据人脸的几何结构比例定位唇部区域，得到目标对象唇部区域的红外热成像图像数据；

使用帧积分法对微光图像序列进行图像降噪；使用帧间差分法确定目标对象开始说话时的图像起始点和终止点；根据人脸的几何结构比例定位唇部区域，得到目标对象唇部区域的微光图像数据。