[发明专利]一种基于注意力机制的医疗实体向量转化方法

摘要

本发明提供一种基于注意力机制的医疗实体向量转化方法，建立MedE2vec模型，具体包括以下步骤：患者整个医疗过程的电子病历包括时间分布零散的多次诊疗事件Event，单次的诊疗事件Event由患者的多个医疗实体Entity组成；输入患者的一次临床诊疗的所有医疗实体，由初始化向量矩阵W将其初始化为向量表示的诊疗序列；捕获患者诊疗事件序列V内部的医疗实体之间的关系即注意力机制；捕获患者不同诊疗事件间的关系：经过迭代训练得到向量矩阵W，W中的第i行即表示医疗实体集合中的向量；通过损失函数不断优化向量矩阵W，来得到最终的医疗实体向量。本发明是一个基于注意力机制的深度学习模型；MedE2vec可以生成更加精确的医疗实体向量。

主权项

1.一种基于注意力机制的医疗实体向量转化方法，其特征在于，建立MedE2vec模型，具体包括以下步骤：(1)患者整个医疗过程的电子病历包括时间分布零散的多次诊疗事件Event，单次的诊疗事件Event由患者的多个医疗实体Entity组成；将患者单次诊疗事件中的多个医疗实体定义为集合e＝{e₁,e₂,...e_n},n表示这一次诊疗事件中医疗实体的数量；将一位患者的诊疗事件集合表示为E＝{E₁,E₂，...E_T},其中，T表示患者的所有诊疗事件数，E为有时序信息；数据集中所有唯一性的医疗实体总个数表示为e_all；(2)输入患者的一次临床诊疗的所有医疗实体，由初始化向量矩阵W将其初始化为向量表示的诊疗序列：患者诊疗序列V，向量矩阵W的大小为R^h*c，c表示向量的维度；(3)捕获患者诊疗事件序列V内部的医疗实体之间的关系即注意力机制；将初始化的诊疗事件序列V输入到注意力机制中，所述注意力机制的结构包括注意力机制的基本结构和前馈神经网络，所述注意力机制的基本结构使用多头注意力机制结构，包括多个注意力头，每个所述注意力头为1个子任务，每个子任务产生各自的注意力，目标为产生更准确的医疗实体向量；所述注意力机制的公式为：其中，Q，K，V分别表示：查询向量、键向量和值向量，且Q，K和V是相等；其中，d_k表示我们的初始化向量矩阵W中向量的维度；将注意力机制公式中的Q，K和V分别进行线性变化，产生多个Q，K和V，分别将Q，K和V输入该注意力机制公式中，并将其连接起来，构成完整的注意力；(4)捕获患者不同诊疗事件间的关系：经过迭代训练得到向量矩阵W，W中的第i行即表示医疗实体集合中的向量；通过损失函数不断优化向量矩阵W，来得到最终的医疗实体向量；损失函数使用log似然函数，其公式如下：其中，e_i,e_j都表示患者一次诊疗中的医疗实体，T表示患者的诊疗次数；通过最大化这个损失函数值，得到向量矩阵W。