[发明专利]基于LSTM循环神经网络的基因表达预测方法

摘要

本发明公开了一种基于LSTM循环神经网络的基因表达预测方法，通过将LSTM循环神经网络引入基因表达预测模型的构建过程，降低模型预测误差，通过K‑Means聚类，Z‑Score标准化等方法进行数据预处理，提高模型训练学习效率；并且结合已知的约1000个landmark gene利用LSTM循环神经网络提取基因表达谱数据的非线性特征，构建非线性预测模型，最终预测约21000个target gene的表达；本发明有效解决了LINCS Program使用线性回归作为推断方法，但却忽略基因表达谱内的非线性问题，降低获取基因表达谱成本，提高基因表达研究效率。

主权项

1.一种基于LSTM的基因表达预测方法，其特征在于，包括：对基因表达谱数据进行预处理；将预处理后的基因表达谱数据引入LSTM循环神经网络，构建基因表达预测模型，使用均方误差作为模型的损失函数，按照标准的反向传播算法更新权重训练模型；变更LSTM循环神经网络的参数组合进行训练模型，将平均绝对误差作为预测模型性能评价指标，分别测试不同参数组合下的模型误差；使用统计量决定系数(R²)衡量模型拟合效果；其中，预处理的方式至少包括：使用无监督聚类算法去除原始基因表达谱数据中的重复数据；对去重后的基因表达谱数据进行格式转换，使用python中的numpy格式保存数据；确定基因表达谱数据中的landmark gene和target gene基因注释，将转换格式后的基因表达谱数据进行规范化；其中，规范化的方式是进行Z‑Socre标准化处理；其中，使用无监督聚类算法去除原始基因表达谱数据中的重复数据，是将原始的基因表达谱数据使用K‑Means聚类算法将数据进行分类，使用欧氏距离度量每个类中数据之间的相似性，以判断同类数据中是否存在重复，并在存在重复数据时去除重复数据；具体包括步骤：Step1：初始化K个聚类中心；Step2：计算每个基因表达谱样本数据到聚类中心的距离，并将该样本数据划分到距离最近的聚类中心所代表的簇中；Step3：计算每个簇中所有基因表达谱样本数据的坐标平均值，并将坐标平均值作为新的聚类中心；Step4：重复步骤2和3，直到聚类中心的移动小于预设误差值，或者聚类迭代次数达到预设值为止；Step5：测量每一个簇中基因表达谱数据之间的欧氏距离，如果同一簇中两个基因表达谱数据的欧氏距离小于设定阈值，则将这一对表达谱定义为重复项，删除其中一项；其中，在确定基因表达谱数据中的landmark gene和target gene基因注释，将转换格式后的基因表达谱数据进行规范化的步骤中，包括步骤：依据基因编码注释，提取基因表达谱数据中943个landmark基因探针和15744个target基因探针的表达值；确定基因表达谱数据对应RNA‑Seq数据中相同的基因编码注释的多重探针，取多重探针表达的平均值作为基因表达谱数据的表达值，在基因表达谱数据和RNA‑Seq数据之间，得到9520个具有一一对应关系的组合target基因；把基因表达谱数据的943个landmark基因和9520个组合target基因的表达值使用Z‑Score标准化；对于RNA‑Seq数据的每一个表达谱，将943个landmark基因和9520个target基因的表达值排在一起，使用Z‑Score方法对数据进行标准化；其中，将预处理后的基因表达谱数据引入LSTM循环神经网络构建基因表达预测模型，使用均方误差作为模型损失函数的步骤中，包括步骤：设定N个训练样本、L个landmark genes、T个target genes，训练集表示为其中，x_i∈R^L表示第i个landmark genes的表达值，y_i∈R^T表示第i个target genes的表达值；LSTM循环神经网络通过“门”(gate)来控制丢弃或者增加信息，从而实现遗忘或记忆的功能；一个LSTM单元有三个这样的门，分别是遗忘门、输入门和输出门；遗忘门是将上一时刻的细胞状态中的信息选择性的遗忘，通过sigmoid层实现；在LSTM循环神经网络中进行训练时，以上一时刻的h_t‑1和这一时刻的x_t作为输入的sigmoid函数，为上一时刻的细胞状态C_t‑1里的每一项产生一个[0，1]的值，表示保留信息量的大小，其中，1代表完全保留，0表示完全舍弃；与C_t‑1相乘；f_t的更新如公式(1)所示：f_t＝σ(W_f·[h_t‑1，x_t]+b_f)    (1)其中x_t是当前输入向量，h^t‑1是t‑1时刻的输出向量，b_f，W_f分别是遗忘门的偏置、输入权重，f_t表示保留上一次的信息量；输入门将新的信息选择性的记录到细胞状态中；其实现方式包含两部分：1.通过输入门层决定更新的内容i_t；2.通过tanh层创建一个候选值向量并增加到细胞状态中；i_t的更新及如公式(2)和(3)所示：i_t＝σ(W_i·[h_t‑1，x_t]+b_i)    (2)接下来更新细胞状态C_t，更新方式如公式(4)所示：输出门控制输出，实现方式是：1.通过输出层门来决定输出新的细胞状态的内容o_t；2.然后将细胞状态通过tanh层，然后与输出门层的输出相乘得到h_t；o_t和h_t更新方式如公式(5)和(6)所示：o_t＝σ(W_o·[h_t‑1，x_t]+b_o)    (5)h_t＝o_t*tanh(C_t)    (6)使用均方误差作为预测模型的损失函数，如公式(7)所示：其中N是测试的样本数，表示第i个样本进行预测得到的target基因t的表达值，y_i(t)表示第i个样本target基因t的真实表达值；其中，在将预处理后的基因表达谱数据引入LSTM循环神经网络构建基因表达预测模型，使用均方误差作为模型损失函数的步骤之后，还包括按照标准的反向传播算法更新预测模型权重，使用Adam优化算法和Dropout技术加速模型训练，增强模型鲁棒性，降低预测模型误差的步骤，包括步骤：按照标准的反向传播算法更新预测模型权重，通过梯度下降法迭代更新预测模型的权重参数，计算所有参数基于损失函数的偏导数，按照公式(8)计算梯度：在反向传播算法中使用Adam优化算法代替传统的随机梯度下降，基于训练数据迭代的更新预测模型的网络权重，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率；预测模型的训练过程中加入Dropout技术；Dropout技术在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃；其中，在变更LSTM循环神经网络的参数组合进行训练模型，将平均绝对误差作为预测模型性能评价指标，分别测试不同参数组合下的模型误差的步骤中，平均绝对误差公式定义如公式(9)所示：其中N是测试的样本数，表示第i个样本进行预测得到的target gene t的表达值，y_i(t)表示第i个样本target gene t的真实表达值；其中，决定系数(R²)是回归分析中经常用的统计信息，经常被当作衡量模型预测能力好坏的标准；相关公式如(10)‑(13)所示：其中，Sum of Squares Due To Error(SSE)Sum Of Squares Due To Regression(SSR)Total Sum Of Squares(SST)在公式(10)‑(13)中表示第i个基因表达谱预测值，表示样本平均值，y_i表示第i个基因表达谱真实值。