[发明专利]一种基于注意力的双向递归神经网络的诊断预测方法

权利要求书

1.一种基于注意力的双向递归神经网络的诊断预测方法，其特征在于，包括如下步骤：

S1，构建患者电子健康病历中的医疗代码x_t，包括诊断、干预编码、入院类型和时间推移序列，作为模型的输入参数；根据时间1到t的访问信息，将第i次访问的医疗编码x_i∈{0,1}^|C|嵌入到向量表示v_i中：

v_i＝ReLU(W_vx_i+b_c)

其中，|C|是独特医疗代码的数量，m是嵌入维度大小，W_v∈R^m×|C|是医疗代码的权重，b_c∈R^m是偏置向量，ReLU是定义为ReLU(v)＝max(v,0)的整流线性单元，max()按元素顺序应用于向量v；

S2，根据不同注意机制状态构建不同的双向递归神经网络：

将向量v_i输入双向递归神经网络，输出隐藏状态h_i作为第i次访问的表示，隐藏状态集合记为

其中，为前向隐藏状态，为后向隐藏状态；

S3，根据相对重要性α_t和计算上下文状态向量c_t，如下：

通过以下softmax函数获得α_t：

α_t＝Softmax([α_t1,α_t2,…,α_t(t-1)]).

其中，通过注意机制计算相对重要性α_t中的α_ti；

S4，根据上下文状态向量c_t和第t次访问的隐藏状态h_t，使用一个简单的连接层来组合来自两个向量的信息，从而生成一个注意力隐藏状态向量，如下所示：

其中，W_c∈R^r×4p是权重矩阵；

S5，将注意力隐藏状态向量通过softmax层馈送产生第t+1次访问信息，定义为:

其中，是要学习的参数，是唯一的类别数。

2.根据权利要求1所述的基于注意力的双向递归神经网络的诊断预测方法，其特征在于，S2中，所述通过注意机制计算相对重要性α_t中的α_ti，具体包括：

基于位置的注意函数，根据当前的隐藏状态h_i单独计算权重，如下所示:

其中，W_α∈R^2p，b_α∈R，是要学习的参数；

或，一般注意函数，使用一个矩阵W_α∈R^2p×2p来捕获h_t和h_i之间的关系,计算权重如下所示:

或，基于连接的函数，使用一个多层感知器MLP，首先连接第t次访问的隐藏状态h_t和第i次访问的隐藏状态h_i，然后通过乘以权重矩阵W_α∈R^q×4q获得潜在的向量,q是潜在的维度，选择tanh作为激活函数，注意权重向量生成如下:

其中，υ_α∈R^q是要学习的参数。

3.根据权利要求1所述的基于注意力的双向递归神经网络的诊断预测方法，其特征在于，S5之后，还包括步骤对预测进行解释，具体为：

使用非负矩阵表示医疗代码，然后，对注意力隐藏状态向量的每个维度按值进行逆序排列，最后选取值最大的前k个代码获得每个维度的临床解释，如下:

其中，表示的第i列或维数。