[发明专利]以问题为导向的两阶段问题生成系统

权利要求书

1.一种基于端到端网络的两阶段问题生成系统，其特征在于，包括：问答数据预处理模块、上下文序列标注模块和问题生成模块，其中：问答数据预处理模块对数据集进行了重新划分、特征提取及词典构建并将特征和单词向量化，得到标注训练集及真实标签；上下文序列标记模块采用标注数据集进行网络模型训练并得到上下文的预测标签；问题生成模块以真实标签和预测标签为输入产生预测问题序列，通过与真实问题的误差进行反向传播训练得到最终的最大概率预测问题；

所述的上下文序列标注模块包括：分离的双输入端编码器、前馈网络结构、条件随机场(CRF)结构；

所述的问题生成模块包括：自注意力机制的编码器、对答案进行关注的解码器以及具有门结构的指针网络。

2.根据权利要求1所述的系统，其特征是，所述的重新划分是指：问答数据预处理模块接收SQuAD数据集作为输入，将其中的验证集的一半作为验证集，另一半作为测试集。

3.根据权利要求1所述的系统，其特征是，所述的特征提取及词典构建是指：将划分得到的训练集中的所有单词进行统计，词频高于词频阈值且包含在使用的预训练词向量Glove中的单词，作为一个集合，然后额外添加UNK、PAD、S、/S表明是未知词、填充词、起始符、结束符作为本实施例的词典，再将上下文序列、问题序列和答案序列转换成为字典集合中的下标分别记为W_c、W_q和W_ans，同时使用spacy工具包对上下文序列进行命名体识别得到的序列记为W_ner和词性标注得到的序列记为W_pos，最后标记上下文中出现在问题中的非停止词的原型或词目W_emerge。

4.根据权利要求1所述的系统，其特征是，所述的向量化是指：在词典及特征构建完成后得到的上下文序列和答案序列转换成为字典集合中的下标W_c和W_ans使用Glove预训练词向量进行向量化，将命名体识别得到的序列W_ner和词性标注得到的序列W_pos进行随机向量化，以标记上下文中出现在问题中的非停止词的原型或词目W_emerge和问题序列转换成为字典集合中的下标W_q分别作为上下文序列标注模块和问题生成模块的真实标签。

5.根据权利要求1所述的系统，其特征是，所述的分离的双输入端编码器包括：上下文编码器和答案编码器，将上下文和答案序列分别通过这两个不同的两层双向LSTM编码器并分别得到两个向量S^c，S^a作为上下文状态向量和答案状态向量：其中：g_i为Glove预训练词向量；f_i为额外特征信息，在上下文编码器中f_i包含命名体和词性信息，在答案编码器中仅考虑预训练词向量，f_i为空；箭头符号表示循环神经网络的方向；[；]表示将两个向量最后维度进行连接；

为了让上下文编码器感知到当前答案信息，本实施例使用注意力机制将答案信息融合入上下文中得到融合矩阵H，注意力机制的一般表达式如下：Attention(Q，K，V)＝softmax((W^Q·Q)·(W^K·K)^T)·(W^V·V)，其中：H＝Attention(S^a，S^c，S^c)，其中：W^Q，W^K，是可训练的参数矩阵。