[发明专利]基于自注意力机制的孕期数据建模方法

权利要求书

1.一种基于自注意力机制的孕期数据建模方法，其特征在于，包括如下具体步骤：

数据预处理：提取实验室数据、妊娠图数据、孕产基本信息三大类型的数据，以一次孕产为基本单位整合各项信息，整理出孕产样本，进行数据预处理；

(1)实验室数据预处理：通过统计实验室数据的出现次数，剔除在实验室数据条目中出现次数少于100的数据，并进行离散化，表示结果为实验室检查医学事件序列时间戳为第n个病人实验室医学事件序列的长度为M⁽ⁿ⁾；定义选择的实验室医学事件数为d_{in_lab}，则每个医学事件维度为d_{in_lab}；部分医学事件序列的维度为M⁽ⁿ⁾×d_{in_lab}，时间戳序列的维度为M⁽ⁿ⁾；

(2)妊娠图数据预处理：使用z－score标准归一化公式进行归一化处理，表示结果为：全部检测项目值的时间序列时间戳为孕周第n个病人妊娠图序列的长度为L⁽ⁿ⁾；定义选择的妊娠图检测项目数为d_{in_pgraph}，则该部分检测值序列的维度为L⁽ⁿ⁾×d_{in_pgraph}，时间戳序列的维度为L⁽ⁿ⁾；

孕产基本信息预处理：使用z－score标准归一化公式进行归一化处理，预处理后的表示结果为元组该部分维度为d_{in_basic}；

建立数据表征模型：使用融合时间信息的Transformer架构建模离散化的实验室数据，使用GRU-ATN架构建模趋势性强的妊娠图数据；

实验室数据表征的具体步骤：

(1)将实验室特征的原始编码映射为训练好的词向量；

(2)对实验室数据中的孕周时间信息进行编码对时间进行向量化表征和融合；采用向量相加的方式，将词向量和时间向量相加作为融合了时间信息的词表征结果v_m，作为后续自注意力层的输入；

(3)引入自注意力模型，通过学习序列中事件间的关联权重建模事件间两两关系，在输出中根据权重融合其他事件的信息；

(4)使用前馈网络对自注意力得到的结果进行变换，对输入表征先后进行两次线性变换，得到最终整体实验室事件序列的表征结果；

孕期数据表征：融合表征部分首先加入孕产基本信息，将三部分数据的进行拼接，使用带激活层的线性变换融合多方面信息，得到最终表征。

2.根据权利要求1所述的一种基于自注意力机制的孕期数据建模方法，其特征在于，所述步骤(3)中，利用多种不同的特征变换空间所表示的信息，从多个不同的角度计算相关性，增加使用多头机制；利用多组不同的线性变换参数，得到多头注意力，并将结果拼接。

3.根据权利要求1所述的一种基于自注意力机制的孕期数据建模方法，其特征在于，使用GRU-ATN架构建模趋势性强的妊娠图数据具体步骤包括：

(1)以预处理的妊娠图检据作为输入，将检查数值与对应的当前孕周相拼接，输出为对于序列中每个时间片的数据表示结果；

(2)所述数据表示结果使用基于位置的注意力机制，以按重要性加权的方式融合序列中所有时间片向量的信息，对序列整体信息进行表征，输出妊娠图数据的最后表征结果。

4.根据权利要求1所述的一种基于自注意力机制的孕期数据建模方法，其特征在于，孕产基本信息数据表征的具体步骤：输入为预处理后的孕产基本信息数据；输出为据表征结果向量，计算方法如下公式所示，对输入孕产基本信息数据in_basic进行线性变换，得到表征后结果y_basic，输入in_basic维度为所选择的孕产基本信息特征数目d_{in_basic}，输出结果y_basic维度为d_basic；

y_basic＝W_basicin_basic。

5.根据权利要求1所述的一种基于自注意力机制的孕期数据建模方法，其特征在于，将三部分数据的进行拼接，使用带激活层的线性变换进一步融合多方面信息，得到最终表征具体步骤：首先将三部分数据的建模结果进行拼接，y_lab,y_pgraph,y_basic分别为实验室数据、妊娠图数据、孕产基本信息数据的最终表征结果；其次对拼接结果y_all进行线性变换，得到最终表征结果y_last；

y_all＝concat(y_lab,y_pgraph,y_basic)

y_last＝W_lasty_all+b_last

输入数据y_lab维度为d_lab，y_pgraph维度为d_pgraph，y_basic维度为d_basic，输出最终结果维度为d_lab+d_pgraph+d_basic，输出最终结果维度为d_last；权重矩阵W_basic维度为d_basic，W_last维度为(d_lab+d_pgraph+d_basic)×d_last，偏置向量b_last维度为d_last。