[发明专利]三维医学图像的识别方法、装置、设备、存储介质及产品

权利要求书

1.一种三维医学图像的识别方法，其特征在于，所述方法包括：

在第i轮特征提取过程中，对第i-1轮三维医学图像特征进行视角重排，得到二维图像特征，所述第i-1轮三维医学图像特征是对三维医学图像进行第i-1轮特征提取得到的特征，且不同二维图像特征是所述第i-1轮三维医学图像特征在不同视角下的特征；

对各个所述二维图像特征进行语义特征提取，得到不同视角下的图像语义特征；

对不同视角下的所述图像语义特征进行特征融合，得到第i轮三维医学图像特征；

基于第k轮特征提取得到的第k轮三维医学图像特征进行图像识别，得到所述三维医学图像的图像识别结果，k大于等于i。

2.根据权利要求1所述的方法，其特征在于，所述对各个所述二维图像特征进行语义特征提取，得到不同视角下的图像语义特征，包括：

对所述二维图像特征进行空间特征提取，得到二维图像空间特征；

基于主视角以及辅视角对所述二维图像空间特征进行语义特征提取，得到所述图像语义特征，所述主视角是所述二维图像特征对应视角，所述辅视角是三维视角中与所述主视角不同的视角。

3.根据权利要求2所述的方法，其特征在于，所述对所述二维图像特征进行空间特征提取，得到二维图像空间特征，包括：

对所述二维图像特征进行窗口划分，得到N个窗口对应的局部二维图像特征，所述N个窗口互不重叠；

对N个所述局部二维图像特征进行特征提取，得到二维图像窗口特征；

对所述N个窗口进行窗口重排，以及对窗口重排后的N个窗口对应的所述二维图像窗口特征进行特征提取，得到二维图像空间特征，所述窗口重排用于改变N个窗口的空间位置。

4.根据权利要求3所述的方法，其特征在于，所述对所述N个所述局部二维图像特征进行特征提取，得到二维图像窗口特征，包括：

对所述N个所述局部二维图像特征进行自注意力处理，得到N个所述局部二维图像特征的自注意力特征；

对N个所述局部二维图像特征的自注意力特征进行特征融合，得到第一图像窗口内部特征；

对所述第一图像窗口内部特征进行卷积处理，得到第一图像窗口交互特征；

利用多层感知机MLP对所述第一图像窗口交互特征进行特征提取，得到所述二维图像窗口特征。

5.根据权利要求3所述的方法，其特征在于，所述对窗口重排后的N个窗口对应的所述二维图像窗口特征进行特征提取，得到二维图像空间特征，包括：

对窗口重排后的N个窗口对应的所述二维图像窗口特征进行自注意力处理，得到N个窗口对应的自注意力特征；

对N个所述自注意力特征进行特征融合，得到第二图像窗口内部特征；

对所述第二图像窗口内部特征进行位置翻转，以及对位置翻转后的所述第二图像窗口内部特征进行卷积处理，得到第二图像窗口交互特征；

利用MLP对所述第二图像窗口交互特征进行特征提取，得到所述二维图像空间特征。

6.根据权利要求4所述的方法，其特征在于，所述对N个所述局部二维图像特征进行自注意力处理，得到N个所述局部二维图像特征的自注意力特征，包括：

基于所述二维图像特征对应的查询项Q、键项K以及值项V进行自注意力处理，得到N个所述二维图像窗口特征的自注意力特征。

7.根据权利要求6所述的方法，其特征在于，所述特征提取过程包括特征编码过程与特征解码过程，第t轮特征解码过程中所述K值、V值基于第t-1轮特征解码中K值、V值与对应特征编码过程中K值、V值融合得到，所述第k轮解码过程中所述Q值为所述第t-1轮特征解码中的所述Q值。