[发明专利]一种基于多模态对抗训练的骨龄检测方法

权利要求书

1.一种基于多模态对抗训练的骨龄检测方法，其特征在于，包括如下步骤：

S1：构建骨龄预测数据集；

S2：构建基于多模态对抗训练的骨龄检测模型进行训练；

S3：预测阶段只留取骨龄检测模型的判别器，并在最后一层加入softmax，加载训练最优的判别模型权重进行结果预测。

2.根据权利要求1所述的基于多模态对抗训练的骨龄检测方法，其特征在于，所述步骤S1中的数据集包括一一对应的X射线光照图片与病例文本摘要。

3.根据权利要求2所述的基于多模态对抗训练的骨龄检测方法，其特征在于，X射线光照图片包括依次对检测者的桡骨、手掌、头状骨、钩骨、指骨进行X射线照射处理，获得远、中、近三种不同方位的X照射影像；

将X射线获得检测者的不同的姿态影像和通过查询电子病历数据库获得的文本信息一同送入基于多模态对抗训练的骨龄检测模型进行预测。

4.根据权利要求1所述的基于多模态对抗训练的骨龄检测方法，其特征在于，所述步骤S2中的骨龄检测模型包括用于根据真实数据的分布规律生成新的样本数据的生成器和用于鉴定数据是来自真实数据还是来自新生成的样本数据的判别器。

5.根据权利要求4所述的基于多模态对抗训练的骨龄检测方法，其特征在于，构建生成器的步骤如下：

第一步为转置卷积运算，首先给定三个超参数，即批处理样本个数、噪声维度、初始噪声样本的像素，并由这三个参数组成生成模型所需的四维张量；其次经过一次卷积核为4*4，步长为1的二维转置卷积运算后将维度转换为(1，512，4，4)的四维张量；再次经过三次卷积核为4*4，步长为2的二维转置卷积运算后将维度转换为(1，64，32，32)的四维张量；最后经过一次卷积核为5*5，步长为3的二维转置卷积运算后输出张量为(1，64，96，96)；

第二步为下采样运算，经过两次卷积核为4*4，步长为2的二维卷积运算后将维度转换为(1，256，24，24)的四维张量；

第三步为残差网络运算，通过由6个残差块组成的残差网络后输出的维度保持不变；

第四步为上采样运算，分别经过两次卷积核为4*4，步长为2和三次卷积核为4*4，步长为1的二维转置卷积运算后将维度转换为(1，64，102，102)的四维张量，最后经过一个卷积核为7*7，步长为1的二维卷积运算输出一张102*102像素的三通道图片。

6.根据权利要求5所述的基于多模态对抗训练的骨龄检测方法，其特征在于，构建判别器的步骤如下：

首先输入一张样本数据经数字化后转换为(1，3，102，102)的四维张量；

其次经过一个1*1卷积运算后将维度转换为(1，64，102，102)的四维张量；

再次经过四个卷积核为4*4，步长为2的卷积运算后将维度转换为(1，1024，1，1)的四维张量；

最后通过一个卷积核为6*6，步长为1的卷积运算转换为标量并输出。