[发明专利]模型训练方法、图像预测方法、训练系统及存储介质

说明书

本申请提供了模型训练方法、图像预测方法、训练系统及存储介质，所述模型训练方法包括：获取至少一个训练图像；获取训练图像对应的标注信息和眼动信息；基于训练图像对应的眼动信息，获取训练图像对应的眼动注意力热图；将训练图像输入预设神经网络，得到训练图像对应的预测信息；使用注意力机制计算所述训练图像对应的所述预设神经网络的注意力，得到训练图像对应的神经网络注意力热图；对预设神经网络进行训练，得到图像预测模型；通过损失函数对训练图像对应的预测信息和标注信息进行约束，通过注意力损失函数对训练图像对应的神经网络注意力热图和眼动注意力热图进行约束。模型训练方法可以得到一种适用范围广，智能程度高的图像预测模型。

技术领域

本申请涉及数据处理技术领域，尤其涉及模型训练方法、图像预测方法、训练系统及存储介质。

背景技术

目前眼动仪可提供对眼球的三维运动追踪，并可检测出人眼关注屏幕的大致区域。眼动仪有很多不同的类型。对于遥测式、非侵入的眼动追踪，最常用的技术是瞳孔角膜反射技术。该技术的基本理念是使用一种光源对眼睛进行照射使其产生明显的反射，并使用一种摄像机采集带有这些反射效果的眼睛的图像。然后使用摄像机采集到的这些图像来识别光源在角膜和瞳孔上的反射。由此能够通过角膜与瞳孔反射之间的角度来计算出眼动的向量，然后将此向量的方向与其他反射的几何特征结合计算出视线的大致方向。

基于深度学习的医学图像处理技术，在图像分割、分类、检测和配准等方面积累了大量神经网络模型。基于深度学习的医学图像处理技术需要大量的数据作为训练，从而从中发现影像中的特征规律。近年来，深度学习在医学图像中取得了广泛的应用但是还存在以下问题：(1)大量的医学影像数据和诊断结果往往是难以获取的，从而会影响到深度学习模型的性能。(2)深度学习模型的诊断是不可解释的黑箱系统，从而影响了它的进一步应用。

目前市场尚无基于医生眼动信息辅助完成深度学习模型训练的系统和产品。

发明内容

本申请的目的在于提供模型训练方法、图像预测方法、训练系统及存储介质，基于眼动信息辅助完成深度学习模型训练。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种模型训练方法，所述方法包括：获取至少一个训练图像；获取所述训练图像对应的标注信息和眼动信息，所述训练图像对应的标注信息是对所述训练图像进行标注得到的，所述训练图像对应的眼动信息是人员注视所述训练图像时采集得到的；基于所述训练图像对应的眼动信息，获取所述训练图像对应的眼动注意力热图；将所述训练图像输入预设神经网络，得到所述训练图像对应的预测信息；使用注意力机制计算所述训练图像对应的所述预设神经网络的注意力，得到所述训练图像对应的神经网络注意力热图；对所述预设神经网络进行训练，得到图像预测模型；其中，通过损失函数对所述训练图像对应的预测信息和标注信息进行约束，并且通过注意力损失函数对所述训练图像对应的神经网络注意力热图和眼动注意力热图进行约束。

该技术方案的有益效果在于，获取人员注视训练图像时采集到的眼动信息，基于所述训练图像对应的眼动信息获取所述训练图像对应的眼动注意力热图，在训练时使用注意力损失函数对所述训练图像对应的神经网络注意力热图和眼动注意力热图进行约束，使用监督学习的方式，基于眼动信息辅助完成深度学习模型训练，训练得到的图像预测模型可以用于执行图像预测任务，适用范围广，智能程度高。

在一些可选的实施例中，所述眼动信息包括多个注视点的位置信息，所述基于所述训练图像对应的眼动信息，获取所述训练图像对应的眼动注意力热图，包括：对所述训练图像对应的多个注视点的位置信息进行降噪，得到所述训练图像对应的降噪结果；对所述训练图像对应的降噪结果进行滤波，得到所述训练图像对应的眼动注意力热图。

该技术方案的有益效果在于，得到去除噪声和杂波影响的眼动注意力热图，将去除噪声和杂波影响的眼动注意力热图和训练图像对应的神经网络注意力热图通过注意力损失函数进行约束，提高了图像预测模型的精度。