[发明专利]一种基于注意力的双向递归神经网络的诊断预测方法

摘要

本发明公开了一种基于注意力的双向递归神经网络的诊断预测方法，涉及预测诊断技术领域。该方法首先将高维的医学编码(即临床变量)嵌入低码层空间，然后将编码表示输入到一个基于注意力的双向递归神经网络中，生成隐藏状态表示。通过softmax层输入隐藏的表示，以预测未来访问的医疗代码。实验数据表明，采用本实施例提供的方法，在预测未来访问信息时，注意机制可以对之前的访问分配不同的权重，不仅能够有效的完成诊断预测任务，而且能够合理地解释预测结果。

主权项

1.一种基于注意力的双向递归神经网络的诊断预测方法，其特征在于，包括如下步骤：S1，构建患者电子健康病历中的医疗代码x_t作为诊断、干预编码、入院类型和时间推移序列的模型；根据时间1到t的访问信息，将第i次访问的医疗编码x_i∈{0,1}^|C|嵌入到向量表示v_i中：v_i＝ReLU(W_vx_i+b_c)其中，|C|是独特医疗代码的数量，m是嵌入维度大小，W_v∈^m×|C|是医疗代码的权重，b_c∈^m是偏置向量。ReLU是定义为ReLU(v)＝max(v,0)的整流线性单元，max()按元素顺序应用于向量；S2，根据不同注意机制状态构建不同的双向递归神经网络：将矢量v_i输入双向递归神经网络(BRNN)，输出隐藏状态h_i作为第i次访问的表示，隐藏状态集合记为其中，为前向隐藏状态，为后向隐藏状态；S3，根据相对重要性α_t和计算上下文状态向量c_t，如下：通过以下softmax函数获得α_t：α_t＝Softmax([α_t1,α_t2,…,α_t(t‑1)]).其中，通过注意机制计算相对重要性α_t中的α_ti；S4，根据上下文状态向量c_t和当前隐藏状态h_t，使用一个简单的连接层来组合来自两个向量的信息，从而生成一个注意力隐藏状态向量，如下所示：其中，W_c∈^r×4p是权重矩阵；S5，将注意力隐藏状态向量通过softmax层馈送产生第t+1次访问信息，定义为:其中，是要学习的参数，是唯一的类别数。