[发明专利]基于多模态知识感知的医疗问答检索方法、系统、装置

权利要求书

1.一种基于多模态知识感知的医疗问答检索方法，其特征在于，该医疗问答检索方法包括：

步骤S10，获取用户问题，并基于预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；

步骤S20，对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；

步骤S30，提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；

步骤S40，基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；

步骤S50，基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；所述医疗问答检索模型基于注意力机制构建，用于对问题到备选答案的路径表示集合中的各条路径表示加权，获取问题到各备选答案的交互表示；

步骤S60，基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数，最大的所述匹配分数对应的备选答案为用户问题对应的检索答案。

2.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，所述多模态医疗知识图谱基于中文症状库、图片库构建，其构建方法为：

步骤T10，提取所述中文症状库中的实体，并分别从所述图片库中获取各实体对应的图像集合；

步骤T20，分别通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示；基于所述中文症状库中的实体，获取各实体的文本表示和结构表示；

步骤T30，基于所述各实体的视觉表示、文本表示，获取各实体的多模态表示，并结合所述各实体的结构表示，获取各实体的最终表示；

步骤T40，基于各实体的最终表示，通过基于翻译的表示学习，获取各实体关系的三元组能量表示，获得多模态医疗知识图谱。

3.根据权利要求2所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤T20中“通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示”，其方法为：

其中，代表第i个实体的视觉表示，N_ik、分别代表第i个实体对应的图像集合中第k张图片的噪声、图片特征，n_i代表第i个实体对应的图像集合的大小。

4.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤S20中“对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合”，其方法为：

步骤S21，分别将所述用户问题以及所述备选答案集合中的每个备选答案中的词嵌入矩阵相应位置，获得用户问题及各备选答案矩阵；

步骤S22，基于所述用户问题及各备选答案矩阵，通过序列信息生成获取问题表示和备选答案表示的集合：

其中，x_q、x_a分别代表用户问题表示、备选答案表示；分别代表用户问题矩阵、备选答案矩阵，d_w代表特征的维数；A(R(q))_i、A(R(a))_i分别代表用户问题、备选答案中第i个词的表示；m代表用户问题的词数；n代表备选答案的词数。

5.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤S40中“基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合”，其方法为：

其中，代表问题实体到各备选答案实体的路径表示，W^Q、W^K、W^V分别为输入X^P对应的预设变换矩阵，d_w代表特征的维数，L代表输入X^P由L个节点的表示拼接构成。