[发明专利]基于语义和图像识别的心电信息提取方法及装置

权利要求书

1.一种基于语义和图像识别的心电信息提取方法，其特征在于，包括：

接收用户端上传的文本描述信息；

判断所述文本描述信息中是否包括预设的关键词；

若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；

若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；

接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；

对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；

接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及

调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述LightGBM模型进行分类，得到对应的分类结果；

其中，所述引导问题集中包括多个引导问题以用于引导用户回复有效信息；

所述回复文本信息通过服务器与用户端基于所述引导问题集的多轮对话得到。

2.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量，包括：

调用预先训练的BERT模型，将所述当前待识别文本信息通过所述BERT模型进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集；其中，所述BERT模型表示Transformers模型的双向编码器表示模型；

将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量；

根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。

3.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量之前，还包括：

将用于获取心电图影像的提示信息发送至用户端或智能心电仪；

接收用户端或智能心电仪根据所述提示信息发送的心电图影像。

4.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量，包括：

获取所述心电图影像对应的像素矩阵；

将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量；

将所述形态特征向量作为所述基于注意力机制的Res2Net分类网络中注意力机制结构进行运算，得到输出向量。

5.根据权利要求4所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量，包括：

将所述像素矩阵输入至所述Res2Net网络中依次卷积、在多层残差结构进行恒等映射、池化及全连接，得到形态特征向量。

6.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果，包括：

将所述语义向量及所述输出向量进行独立特征合并，得到图文特征向量；

将所述图文特征向量通过所述Light GBM模型中基于直方图的决策进行分类，得到对应的分类结果。