[发明专利]一种医疗图文数据互检方法、装置、设备及可读存储介质

权利要求书

1.一种医疗图文数据互检方法，其特征在于，包括：

将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征；

将图文数据中的图像信息以图像序列的方式通过第二神经网络模型生成图像特征；

根据所述文本特征和图像特征基于预订的损失函数迭代训练生成图文数据互检模型；

通过所述图文数据互检模型对输入的图文数据中的文本信息和/或图像信息进行检索对应的文本信息和/或图像信息。

2.根据权利要求1所述的方法，其特征在于，所述将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征包括：

将所述文本信息按照文本结构类型进行分类，并将分类后的每一个结构文本信息通过所述第一神经网络模型计算所述结构文本信息的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将所述文本信息按照文本结构类型进行分类包括：

将所述文本信息按照文本结构和/或时间类型进行分类。

4.根据权利要求2所述的方法，其特征在于，所述将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征还包括：

将所述分类后的结构文本信息中的文本内容，以语句的先后出现次数进行排序，并将排序后的每一个语句作为参数输入到所述第一神经网络模型计算所述结构文本信息的文本特征。

5.根据权利要求4所述的方法，其特征在于，所述以语句的先后出现次数进行排序，并将排序后的每一个语句作为参数输入到所述第一神经网络模型计算所述结构文本信息的文本特征：

将每一个语句中的词以其对应的顺序编号值以及所述文本结构分类中的语句编号相加后输入到所述第一神经网络模型计算所述结构文本信息的文本特征。

6.根据权利要求4所述的方法，其特征在于，还包括：

从所述第一神经网络模型输出的与对应多个语句的计算结果中选择其中任意一个作为所述结构文本信息的文本特征；或

将所述第一神经网络模型输出的与多个语句对应的计算结果加权求平均值得到所述结构文本信息的文本特征。

7.根据权利要求4所述的方法，其特征在于，所述将图文数据中的文本信息按照预订方式进行多级分类，并将分类后的文本信息分别通过第一神经网络模型按照分类关系以级联的方式生成文本特征还包括：

将多个所述结构文本信息的文本特征输入到所述第一神经网络模型的得到所述文本信息的文本特征。

8.根据权利要求7所述的方法，其特征在于，所述将多个所述结构文本信息的特征向量输入到所述第一神经网络模型的得到所述文本信息的文本特征包括：

将每一个所述结构文本信息的文本特征和其对应的结构文本的顺序值以及分类编号相加后输入到所述第一神经网络模型计算所述文本信息的文本特征。

9.根据权利要求7所述的方法，其特征在于，还包括：

从所述第一神经网络模型输出的与对应多个结构文本信息的计算结果中选择其中任意一个作为所述文本信息的文本特征；或

将所述第一神经网络模型输出的与多个结构文本信息的计算结果加权求平均值得到所述文本信息的文本特征；或

将所述多个结构文本信息的文本特征进行拼接成长向量，并将拼接后的长向量通过全连接层得到所述文本信息的文本特征。