[发明专利]一种面向异构时距的科学研究热点预测方法及系统

权利要求书

1.一种面向异构时距的科学研究热点预测方法，其特征是，包括以下步骤：

1)提取特征：在科技新闻网站、文献数据库爬取科技信息文章，并对文本数据进行向量表示与向量提取；

2)分析预测需求：分析用户需要预测热点的时间跨度；

3)生成预测模型：生成嵌入BP神经网路的RNN预测模型；所述嵌入BP神经网路的RNN预测模型的最底层是一个经典RNN，在每个循环中嵌入一个子RNN，子RNN的每个循环还嵌入孙RNN；4)训练预测模型：对嵌入BP神经网路的RNN预测模型进行逐层训练；在训练预测模型的过程中，首先训练最高层RNN，依次训练下一层RNN；

5)生成预测结果：将数据输入训练后预测模型生成研究热点预测结果；

所述训练预测模型的过程包括以下步骤：

a)确定每层的训练数据：

{x_i|i∈[t-hK^g,t],i％K＝0}，

其中g为层号，h为训练数据周期系数，K为每层长度，x_i为训练数据，t为周期终止时刻，i为训练数据标识；

b)对BP神经网络采用通用方法进行训练，在研究热点预测时接收RNN前向传播的特征，并在求梯度时向RNN传递误差项；

c)采用标准前向传播方法、多层前向传播方法和多层误差反向传播方法对RNN网络进行训练，并计算梯度。

2.根据权利要求1所述的一种面向异构时距的科学研究热点预测方法，其特征是，所述提取特征的具体过程为：利用爬虫技术在科技新闻网站、文献数据库爬取科技信息文章，同时利用权重TF-IDF算法及深度玻尔兹曼机方法对文本数据进行向量表示与向量提取；最终提取的向量表示为一个时序数据X，时序数据X是模型训练模块、预测结果模块的数据来源。

3.根据权利要求1所述的一种面向异构时距的科学研究热点预测方法，其特征是，所述分析预测需求的具体过程为：基于与用户的交互，分析用户需要预测热点的时间跨度，并利用时间跨度数据生成预测模型。

4.根据权利要求1所述的一种面向异构时距的科学研究热点预测方法，其特征是，所述步骤c)具体过程为：

C1)标准RNN前向传播训练过程：

向量net_k表示循环神经元在k时刻的加权输入，其计算方法为：

net_t＝Ux_t+WS_t-1；

其中，S_k为k时刻循环层的值，且S_k＝G(net_k)，G()为激活函数；W为循环权重，U为输入权重；

C2)多层前向传播训练过程：

上层即G1层，G1层训练完成后，训练下层即G0层；

G0层前向传播在标准前向传播训练过程基础上，还在G1层时用以下公式进行传递：

其中，带点符号代表G1层的对应参数，采用X中时序点数据的均值；

C3)多层误差反向传播训练过程：

G1层在训练时采用标准的RNN误差反向传播方法，G0层训练时，除了用标准的RNN误差反向传播训练过程基础上，还在G1层时用以下公式进行传递误差：

其中，δ表示各循环周期的误差项，diag[x]表示根据向量x创建一个对角矩阵；

C4)计算误差函数E对任意周期k权重矩阵W_k的梯度：

G1层用如下公式计算梯度：

G0层用如下公式计算梯度：

其中δ_k,i表示δ_k误差项向量的第i个分量，表示的第j个神经元的输出值，为δ_k左邻子模块；

误差函数E对循环层权重矩阵W的梯度是各个时刻的梯度之和，计算公式如下：

5.根据权利要求1-4任意一项所述的一种面向异构时距的科学研究热点预测方法，其特征是，所述预测结果发送给用户界面。

6.一种面向异构时距的科学研究热点预测系统，其特征是，包括：

特征提取模块，用于在科技新闻网站、文献数据库爬取科技信息文章，并对文本数据进行向量表示与向量提取；

预测需求分析模块，用于分析用户需要预测热点的时间跨度；

预测模型生成模块，用于生成嵌入BP神经网路的RNN预测模型；所述嵌入BP神经网路的RNN预测模型的最底层是一个经典RNN，在每个循环中嵌入一个子RNN，子RNN的每个循环还嵌入孙RNN；

预测模型训练模块，用于对嵌入BP神经网路的RNN预测模型进行逐层训练；在训练预测模型的过程中，首先训练最高层RNN，依次训练下一层RNN；

预测结果生成模块，用于将数据输入训练后预测模型生成研究热点预测结果；

所述预测模型训练模块包括：

训练数据确定模块，用于确定每层的训练数据；

BP神经网络训练模块，用于对BP神经网络采用通用方法进行训练，在研究热点预测时接收RNN前向传播的特征，并在求梯度时向RNN传递误差项；

RNN网络训练模块，用于采用标准前向传播方法、多层前向传播方法和多层误差反向传播方法对RNN网络进行训练，并计算梯度。