[发明专利]一种基于信息融合的分类方法、装置及设备

权利要求书

1.一种基于信息融合的分类方法，其特征在于，所述分类方法包括：

获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，所述第一影像数据为半月板的影像数据，所述第二影像数据为前交叉韧带的影像数据，所述第三影像数据为骨骼的影像数据；

将所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据分别输入至预设的第一特征提取模型、第二特征提取模型及第三特征提取模型，获得第一特征数据、第二特征数据及第三特征数据；

将所述第一特征数据、所述第二特征数据及所述第三特征数据进行拼接，获得拼接特征数据；

将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；

将所述改造的transformer编码器输出的融合特征数据分别输入预设的分类模型中，获得诊断结果，所述诊断结果包括半月板损伤分类结果及前交叉韧带损伤分类结果。

2.如权利要求1所述的分类方法，其特征在于，所述获取待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据，进一步包括：

调整所述待处理的第一影像数据、待处理的第二影像数据及待处理的第三影像数据至预设影像尺寸。

3.如权利要求1所述的分类方法，其特征在于，所述第一特征提取模型、所述第二特征提取模型及所述第三特征提取模型均为基于Resnet50网络生成的模型，所述第一特征提取模型、所述第二特征提取模型及所述第三特征提取模型的参数不共享。

4.如权利要求1所述的分类方法，其特征在于，所述将所述拼接特征数据作为改造的transformer编码器的输入，获得所述改造的transformer编码器输出的融合特征数据；具体包括：

所述改造的transformer编码器接收所述拼接特征数据后进行映射，获得所述半月板及所述前交叉韧带的Q向量，以及所述半月板、所述前交叉韧带及所述骨骼共享的K向量及V向量；

基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得所述改造的transformer编码器输出的融合特征数据。

5.如权利要求4所述的分类方法，其特征在于，所述Q向量的计算为：

Q_acl＝wq_acl*f_acl

Q_meniscus＝wq_meniscus*f_meniscus

所述V向量的计算为：

V＝wv*[f_acl,f_meniscus,f_bone]

所述K向量的计算为：

K＝wk*[f_acl,f_meniscus,f_bone]

其中，

Q_acl为前交叉韧带的Q向量；

wq_acl为前交叉韧带的可学习权重矩阵；

f_acl为输入的前交叉韧带的特征；

Q_meniscus为半月板的Q向量；

wq_meniscus为半月板的可学习权重矩阵；

f_meniscus为输入的半月板的特征；

f_bone为输入的骨骼的特征；

wv为可学习权重矩阵；

wk为可学习权重矩阵。

6.如权利要求4所述的分类方法，其特征在于，所述基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得所述改造的transformer编码器输出的融合特征数据，具体包括：

基于所述Q向量、所述K向量及所述V向量进行自注意力计算，获得自注意力模块输出的前交叉韧带的特征及所述注意力模块输出的半月板的特征；

将所述输出的前交叉韧带的特征及所述输出的半月板的特征进行融合，获得所述改造的transformer编码器输出的融合特征数据。