[发明专利]一种从红外图像中解译文字描述的方法及装置

说明书

本发明提出一种从红外图像中解译文字描述的方法及装置，属于计算机视觉和红外图像处理领域。其中，所述方法包括：获取红外图像，将所述红外图像输入预设的红外图像描述网络，得到所述图像对应的文字描述，所述文字描述包含所述红外图像中的目标以及所述目标之间的关系。本发明通过从红外图像获取目标及其周围的重要热源信息，可使人们可以在任意时间、任意地点对环境信息进行捕获和解译，不再局限于可见光充足的条件下，填补了环境信息解译在暗光或无光环境下使用范围的空白，对所关心目标在弱光或无光下的捕获与描述具有极大的实用意义。

技术领域

本发明属于计算机视觉和红外图像处理领域，具体涉及一种从红外图像中解译文字描述的方法及装置。

背景技术

人们实时获取环境信息是在通过接收并处理可见光的条件下进行的，当视力受损或可捕获的可见光信息较少时，就无法通过足够的信息来获取具体的环境情况。随着人工智能的迭代发展，现有技术已经可以解译可见光图像，对其中的物品进行识别并加以简单的描述，如识别家居用品、阅读和扫描文本、描述场景、识别朋友甚至可以描述其他应用程序中的图像，比如电子邮件、社交媒体程序等。而且有的对象和对象之间是存在交互的，现有技术不仅可以识别对象，比如“一个人，一条街道，一个行李箱”，还可以识别对象与对象之间的关系，比如“一个人提着一个行李箱走在街道上”。

然而，现有的将图像信息映射到文字的描述机制，所有解译均通过可见光图像进行，并且图像中需要有充足的对象和物体信息。但如果在暗光或无光条件下，可见光信息变得极为稀少，现有技术则无法通过可见光图像精准识别对象并描述其中的交互信息，存在以下缺陷：

①从图像中解译文字描述局限于可见光较强的环境而且能通过传感器获得较多可见光信息的情况，图像中的目标特征要明显、无遮拦。当光线不足或无光而导致在相应环境下目标特征不明显的情况，现有方法无法精确、合理的得到解译图像的正确结果。

②实时处理能力差，现有图像解译模型体量较大，对设备性能要求高，不仅需要高算力而且过于依赖通信环境，无法在完全离线的情况下独立、快速、准确的完成解译功能。

③现有解译模型局限于某个特定的场景条件下，当场景物件较多，较繁杂时，即使光线充足，目标特征与环境特征相似时会导致极大的识别偏差进而造成解译错误。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种从红外图像中解译文字描述的方法及装置。本发明通过从红外图像获取目标及其周围的重要热源信息，可使人们可以在任意时间、任意地点对环境信息进行捕获和解译，不再局限于可见光充足的条件下，填补了环境信息解译在暗光或无光环境下使用范围的空白，对所关心目标在弱光或无光下的捕获与描述具有极大的实用意义。

本发明第一方面实施例提出一种从红外图像中解译文字描述的方法，包括：

获取红外图像；

将所述红外图像输入预设的红外图像描述网络，得到所述图像对应的文字描述，所述文字描述包含所述红外图像中的目标以及所述目标之间的关系。

在本发明的一个具体实施例中，在所述将所述红外图像输入预设的红外图像描述网络，得到所述图像对应的文字描述之前，还包括：

训练所述红外图像描述网络；

所述训练所述红外图像描述网络包括：

构建红外图像训练集，所述红外图像训练集包含红外图像及对应的文字描述；

构建红外图像描述网络，所述红外图像描述网络包括依次连接的CNN特征提取子网络、RNN注意力机制子网络和LSTM子网络；其中，所述CNN特征提取子网络用于提取输入图像的特征；所述RNN注意力机制子网络用于根据所述特征，从备选描述语料库中提取所述图像中目标对应的单词；所述LSTM子网络用于根据单词确定描述语句的语序；