[发明专利]模型训练方法、图像预测方法、训练系统及存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取至少一个训练图像；

获取所述训练图像对应的标注信息和眼动信息，所述训练图像对应的标注信息是对所述训练图像进行标注得到的，所述训练图像对应的眼动信息是人员注视所述训练图像时采集得到的；

基于所述训练图像对应的眼动信息，获取所述训练图像对应的眼动注意力热图；

将所述训练图像输入预设神经网络，得到所述训练图像对应的预测信息；

使用注意力机制计算所述训练图像对应的所述预设神经网络的注意力，得到所述训练图像对应的神经网络注意力热图；

对所述预设神经网络进行训练，得到图像预测模型；其中，通过损失函数对所述训练图像对应的预测信息和标注信息进行约束，并且通过注意力损失函数对所述训练图像对应的神经网络注意力热图和眼动注意力热图进行约束。

2.根据权利要求1所述的模型训练方法，其特征在于，所述眼动信息包括多个注视点的位置信息，所述基于所述训练图像对应的眼动信息，获取所述训练图像对应的眼动注意力热图，包括：

对所述训练图像对应的多个注视点的位置信息进行降噪，得到所述训练图像对应的降噪结果；

对所述训练图像对应的降噪结果进行滤波，得到所述训练图像对应的眼动注意力热图。

3.根据权利要求2所述的模型训练方法，其特征在于，所述对所述训练图像对应的多个注视点的位置信息进行降噪，得到所述训练图像对应的降噪结果，包括：

获取所述训练图像对应的每个时刻的注视点的位置信息，获取所述训练图像对应的每个时刻的眼动速度；

基于所述训练图像对应的每个时刻的眼动速度，计算所述训练图像对应的每个时刻的注意力水平；

获取注意力水平处于预设注意力范围的时刻对应的注视点的位置信息，作为所述训练图像对应的降噪结果。

4.根据权利要求2所述的模型训练方法，其特征在于，所述对所述训练图像对应的降噪结果进行滤波，得到所述训练图像对应的眼动注意力热图，包括：

对所述训练图像对应的降噪结果进行高斯滤波，得到所述训练图像对应的眼动注意力热图。

5.根据权利要求1所述的模型训练方法，其特征在于，获取所述训练图像对应的标注信息的方法包括：

利用用户操作设备接收所述对所述训练图像进行标注的操作，得到所述训练图像对应的标注信息。

6.根据权利要求1所述的模型训练方法，其特征在于，获取所述训练图像对应的眼动信息的方法包括：

利用眼动采集设备采集所述人员注视所述训练图像时的眼动信息，得到所述训练图像对应的眼动信息。

7.根据权利要求1所述的模型训练方法，其特征在于，所述图像预测模型用于执行以下至少一种任务：图像分类任务；图像分割任务；图像检测任务；图像配准任务；图像映射任务；图像融合任务。

8.一种图像预测方法，其特征在于，所述方法包括：

获取待预测图像；

将所述待预测图像输入图像预测模型，得到所述待预测图像对应的预测信息；

其中，所述图像预测模型是利用如下方法训练得到的：

获取至少一个训练图像；

获取所述训练图像对应的标注信息和眼动信息，所述训练图像对应的标注信息是对所述训练图像进行标注得到的，所述训练图像对应的眼动信息是人员注视所述训练图像时采集得到的；

基于所述训练图像对应的眼动信息，获取所述训练图像对应的眼动注意力热图；

将所述训练图像输入预设神经网络，得到所述训练图像对应的预测信息；

使用注意力机制计算所述训练图像对应的所述预设神经网络的注意力，得到所述训练图像对应的神经网络注意力热图；

对所述预设神经网络进行训练，得到图像预测模型；其中，通过损失函数对所述训练图像对应的预测信息和标注信息进行约束，并且通过注意力损失函数对所述训练图像对应的神经网络注意力热图和眼动注意力热图进行约束。