[发明专利]基于时序图像的预测方法及装置

权利要求书

1.一种基于时序图像的眼底图像预测方法，其特征在于，包括：

获取眼底图像序列，其中，所述眼底图像序列包括按照时间排序的多张眼底图像；

将所述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于所述眼底图像序列分别对应的图像特征以及时序特征确定预测结果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数据集训练得到的；

其中，所述眼底图像预测模型包括：图像处理单元、时间处理单元以及分类单元，所述图像处理单元用于根据所述眼底图像的图像特征得到所述眼底图像对应的空间特征，其中，所述图像处理单元包括注意力子网络和极坐标子网络，所述注意力子网络用于根据所述眼底图像以及预设注意力图像，获取所述眼底图像的注意力特征，所述极坐标子网络用于根据所述眼底图像的感兴趣区域的极坐标图像，获取所述眼底图像的极坐标特征，根据所述注意力特征以及所述极坐标特征得到所述空间特征；所述时间处理单元用于根据所述空间特征、两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征；所述分类单元用于对所述时空特征进行分类，以得到所述预测结果。

2.根据权利要求1所述的方法，其特征在于，根据所述眼底图像以及预设注意力图像获取所述眼底图像的注意力特征包括：

对所述眼底图像以及所述预设注意力图像进行多尺度卷积，以得到注意力特征。

3.根据权利要求2所述的方法，其特征在于，根据所述眼底图像的感兴趣区域的极坐标图像获取所述眼底图像的极坐标特征包括：

对所述预设注意力图像进行二值化，以得到二值化注意力图像；

根据所述眼底图像以及所述二值化注意力图像确定所述眼底图像的杯盘中心点；

根据所述杯盘中心点确定所述眼底图像的感兴趣区域的极坐标图像；

对所述眼底图像的感兴趣区域进行多尺度卷积，以得到所述极坐标特征。

4.根据权利要求1所述的方法，其特征在于，根据所述注意力特征以及所述极坐标特征得到所述空间特征包括：

合并所述注意力特征以及所述极坐标特征，得到高维特征；

对所述高维特征进行全局平均池化，以得到所述空间特征。

5.根据权利要求1所述的方法，其特征在于，根据所述空间特征、每两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征包括：

根据当前眼底图像对应的空间特征、当前眼底图像与前一个相邻时序的眼底图像的时间差值以及所述前一个相邻时序眼底图像对应的时空特征，确定所述当前眼底图像的时空特征。

6.根据权利要求1所述的方法，其特征在于，对所述时空特征进行分类，以得到所述预测结果包括：

将所述时空特征输入值分类器，以得到所述预测结果，

其中，所述分类器包括双层全连接网络结构。

7.一种基于时序图像的眼底图像预测装置，其特征在于，包括：

获取单元，用于获取眼底图像序列，其中，所述眼底图像序列包括按照时间排序的多张眼底图像；

预测单元，用于将所述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于所述眼底图像序列分别对应的图像特征以及时序特征确定预测结果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数据集训练得到的，其中，所述眼底图像预测模型包括：图像处理单元、时间处理单元以及分类单元，所述图像处理单元用于根据所述眼底图像的图像特征得到所述眼底图像对应的空间特征，其中，所述图像处理单元包括注意力子网络和极坐标子网络，所述注意力子网络用于根据所述眼底图像以及预设注意力图像，获取所述眼底图像的注意力特征，所述极坐标子网络用于根据所述眼底图像的感兴趣区域的极坐标图像，获取所述眼底图像的极坐标特征，根据所述注意力特征以及所述极坐标特征得到所述空间特征；所述时间处理单元用于根据所述空间特征、两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征；所述分类单元用于对所述时空特征进行分类，以得到所述预测结果。