[发明专利]基于自注意力机制的孕期数据建模方法

说明书

本发明公开了一种基于自注意力机制的孕期数据建模方法，包括如下具体步骤：提取三大类型的数据，以一次孕产为基本单位整合各项信息，整理出孕产样本，进行数据预处理；使用融合时间信息的Transformer架构建模离散化的实验室数据，使用GRU‑ATN架构建模趋势性强的妊娠图数据；融合表征部分首先加入孕产基本信息，将三部分数据的进行拼接，使用带激活层的线性变换进一步融合多方面信息，得到最终表征。本发明提供了一种基于自注意力机制的孕期数据建模方法，主要利用自注意力等机制对数据进行建模，将原始的多元、高维、信息稀疏的输入数据转化为单一、低维，信息密集的输出数据，输出数据表征向量，用于进一步分析使用。

技术领域

本发明涉及数据挖掘技术领域，更具体的说是涉及基于自注意力机制的孕期数据建模方法。

背景技术

随着深度学习的发展，深度学习模型在医疗数据建模表征中使用也成为一个主要的方向。目前使用深度学习对电子病历数据进行建模表征时，首先对离散的医学事件向量进行表征，使用词向量技术，或构造特定的医学向量表征模型。其次，由于电子病历数据具有就诊的时间序列，因此常使用序列化建模模型循环神经网络，并添加注意力模型以提高解释性。在此基础上，可充分利用时间间隔特征，或使用多种注意力机制比较其效果。卷积神经网络也得到应用，主要在时间维度卷积以建模时间关系，并可使用多组长度不同的卷积核增加多样性，通过融合时间戳可进一步利用就诊中的时间信息。

但目前的表征模型中，缺乏对医学事件之间两两关系的建模，而自然语言处理领域中出现自注意力机制模型则能够很好解决这一问题。自注意力机制为序列化数据建模提供了新的视角，在多种自然语言处理问题中表现良好，并解决了循环网络模型难以深度化、并行化的问题，规避了卷积网络模型难以捕捉长距离特征的问题。

因此，如何提供一种基于自注意力机制的建模方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于自注意力机制的孕期数据建模方法，主要利用自注意力等机制对数据进行建模，将原始的多元、高维、信息稀疏的输入数据转化为单一、低维，信息密集的输出数据，输出数据表征向量，用于进一步分析使用。主要由数据预处理模块，处理三种不同类型的数据(实验室数据、妊娠图数据、孕产基本信息数据)以及最终的融合表征模块组成。数据首先进行预处理操作，其次输入到各自的表征模块进行表征，最后将结果输入融合表征层得到最终结果。根据最终的表征结果便于孕妇身体状况的监控。

为了实现上述目的，本发明提供如下技术方案：

一种基于自注意力机制的孕期数据建模方法，包括如下具体步骤：

数据预处理：提取实验室数据、妊娠图数据、孕产基本信息三大类型的数据，以一次孕产为基本单位整合各项信息，整理出孕产样本，进行数据预处理；

建立数据表征模型：使用融合时间信息的Transformer架构建模离散化的实验室数据，使用GRU-ATN架构建模趋势性强的妊娠图数据；

孕期数据表征：融合表征部分首先加入孕产基本信息，将三部分数据的进行拼接，使用带激活层的线性变换进一步融合多方面信息，得到最终表征。

优选的，在上述的一种基于自注意力机制的孕期数据建模方法中，所述数据预处理：

实验室数据预处理：通过统计实验室数据的出现次数，剔除在实验室数据条目中出现次数少于100的数据，并进行离散化，表示结果为实验室检查医学事件序列时间戳为第n个病人实验室医学事件序列的长度为M⁽ⁿ⁾；定义选择的实验室医学事件数为d_{in_lab}，则每个医学事件维度为d_{in_lab}；部分医学事件序列的维度为M⁽ⁿ⁾×d_{in_lab}，时间戳序列的维度为M⁽ⁿ⁾。