[发明专利]一种基于循环注意力机制的文档快速扫描定性方法

摘要

本发明公开了一种基于循环注意力机制的文档快速扫描定性方法，获取训练数据集，在预处理阶段，将整个文档转换为词向量矩阵，词向量矩阵通过含有循环注意力机制的文档检测模型，包括卷积神经网络模块、最大池化模块、循环神经网络模块，利用回报函数得出回报值reward，训练循环神经网络，优化模型参数，测试模型准确率。本发明的方法基于注意力机制，引入了强化学习的训练方法，适应性更强，并且不需要对全文进行检索，而是通过处理文档中的局部信息，智能快速的预测出文档中特定的位置，在有限的次数内，快速扫描探索找出最能够代表文档特征的句子，即分类概率最大的句子，这些句子能够最大化的表示该文档的类型。

主权项

1.一种基于循环注意力机制的文档快速扫描定性方法，其特征在于，包括以下步骤：

(1)获取训练数据集，拟定训练数据集中的文档的标签；

(2)在预处理阶段，将文档分成句子，再对句子进行分词，然后对每一个词使用word2vec词向量训练模型转化为词向量，由此将句子转化成一个由词向量组成的矩阵，从而将整个文档转换为词向量矩阵；

(3)将词向量矩阵输入文档检测模型，所述文档检测模型包括卷积神经网络模块、最大池化模块和循环神经网络模块，具体步骤为：

31)随机选取一个位置t，利用一个一维的卷积神经网络提取位置t的句子的每个词的语义信息特征，再经过最大池化降维，输出每个句子的特征向量；

32)将每个句子的特征向量和上个时间步骤输出的隐含状态h_t‑1一起输入到循环神经网络中进行编码，然后输出当前时间的隐含状态h_t；

33)将循环神经网络输出的隐含状态h_t输入到一个强化学习模块，输出对下一个位置的索引预测L_t+1；

34)找到下一个位置t+1，将位置t+1的句子输入到一个一维的卷积神经网络，提取每个词的特征，随后经过最大池化降维得到特征向量，然后，再将上一步输出的位置索引预测L_t+1与特征向量通过一个RELU修正线性单元模块进行线性加和，再输入到循环神经网络之中；

35)循环神经网络运行到最后一步时，输出的隐含状态输入到一个分类器，输出整篇文档的标签分布概率P；

(4)利用回报函数得出回报值reward；

(5)训练循环神经网络，优化文档检测模型参数；

(6)获取测试数据集，拟定测试数据集中的文档的标签，测试文档检测模型准确率。

2.根据权利要求1所述的基于循环注意力机制的文档快速扫描定性方法，其特征在于，步骤(3)中卷积神经网络的卷积核个数为256。

3.根据权利要求1所述的基于循环注意力机制的文档快速扫描定性方法，其特征在于，在步骤(4)中，回报函数的数据处理流程为：

a)步骤(3)中输出的标签分布概率P为一组和为1的数组，数组中较大的概率值所对应的下标即为预测的文档标签,同时输出含有预测的文档标签的句子，作为代表文档特征的句子；

b)将步骤a)中得到的预测的文档标签与步骤(1)中的文档的标签作比对，如果相同则回报值reward的值为1，不同则回报值reward的值为0。

4.根据权利要求1所述的基于循环注意力机制的文档快速扫描定性方法，其特征在于，步骤(5)中的训练优化的目标是最优化目标函数，最小化代价函数，代价函数包括分类的代价函数和强化学习的代价函数，具体步骤为：

(41)分类的代价函数为交叉熵函数：利用一组已知标签的样本调整分类器的参数，使代价函数即交叉熵函数最小，利用预测的文档的标签和步骤(1)中文档的标签，计算出交叉熵C，其中，x表示样本，n表示样本的总数，y为期望的输出，即文档的标签值，a为神经元实际输出，即预测的文档标签值，训练时将交叉熵对权重的偏导数反向传播，更新文档检测模型参数；

(42)强化学习的代价函数为L(θ)＝logπ(a|s,θ)·(R‑b),其中π(a|s)为神经网络拟合的策略，θ为参数；logπ(a|s,θ)是在状态s下输出动作a的概率的对数似然，用以表示智能体的策略，b为基线baseline，R为回报值reward；再利用自适应矩估计Adam优化器反向更新文档检测模型参数，优化强化学习的代价函数，使代价函数最小化，回报值reward最大化。

5.根据权利要求4所述的基于循环注意力机制的文档快速扫描定性方法，其特征在于，训练文档检测模型时，设置步数step为100000步，样本总数为1000，每一个分批处理mini_batch的样本数量为10，训练开始时的学习率learning rate为10^‑3，设置衰减因子λ，在每一次训练完全部样本之后，学习率learning rate按照衰减因子λ衰减，随着训练进行，最后学习率learning rate变为10^‑4。

6.根据权利要求1所述的基于循环注意力机制的文档快速扫描定性方法，其特征在于，步骤(6)中，将得出的预测的文档标签与测试数据集中的文档的标签对比，如果相同则回报值reward为1，测试一系列文档之后得出回报值reward的加和，再除以文档数量，得到整个测试文档的分类准确率。