[发明专利]基于深度学习的智能化文本自动生成系统及其实现方法

说明书

本发明提供了一种基于深度学习的智能化文本自动生成系统及其实现方法，该实现方法主要包括如下操作步骤：步骤A，数据预处理：对用户提交的数据文件进行预处理，并转换成智能化文本自动生成系统可以识别和处理的数据格式；步骤B，字段‑内容选择编码：对预处理之后的数据进行编码，并利用预先设计好的神经网络模型计算序列的阶段性输出；步骤C，描述性解码：再次利用所述神经网络模型对所述阶段性输出进行新的计算预测，以得到所有词汇表中的单词的输出概率，并从中选出概率最大的文本作为输出。

技术领域

本发明涉及一种基于深度学习的智能化文本自动生成系统及其实现方法，属于自然语言处理和数据挖掘领域。

背景技术

智能化文本自动生成是一种利用人工智能领域的自然语言处理技术实现自动文本分析、内容总结和文本生成的技术，是解决目前信息过剩问题的一种有效的辅助手段，能够帮助人类更加快速、准确、全面的获取关键信息，在工业和商业方面都具有重要的实用意义。但是，当前应用在文本生成领域的主流方法都基于神经网络语言模型，由于神经网络语言模型的不可解释性和黑盒等特性，生成的文本开始出现参考错误，例如:语句间不一致以及对源数据缺乏保真度等问题。

如何解决文本生成过程中出现的准确性和流畅性问题已经成为研究焦点。目前采用的方法大多建立在序列到序列神经网络架构上，通过编码器-解码器结构以及注意力机制来对齐生成的文本和源数据之间的依赖，但是，注意力机制仍存在部分缺陷，在生成长文本时注意力向量的对齐作用会逐渐减弱，而且对于数据中的复杂结构信息不能很好的提取。并且，神经网络语言模型将文本生成问题建模为一个统计概率问题，输出文本时通过找到后验概率最大的单词作为目标单词，但是对于训练数据集中没有出现过的稀有词，又称未登录词并不能很好的生成。

针对稀有词问题，目前的处理方法大多是采用拷贝网络，将模型无法生成的单词从源序列中复制到输出文本中，但额外训练的神经网络往往不能和模型共享参数，因此增加了训练模型的难度和资源消耗。

有鉴于此，确有必要提出一种基于深度学习的智能化文本自动生成系统及其实现方法，以解决上述问题。

发明内容

本发明的目的在于提供一种基于深度学习的智能化文本自动生成系统，基于该系统能够进行文本的自动生成和对生成文本的准确性和完整性进行验证。

为实现上述目的，本发明提供了一种基于深度学习的智能化文本自动生成系统的实现方法，主要包括如下操作步骤：

步骤A，数据预处理：对用户提交的数据文件进行预处理，并转换成智能化文本自动生成系统可以识别和处理的数据格式；

步骤B，字段-内容选择编码：对预处理之后的数据进行编码，并利用预先设计好的神经网络模型计算序列的阶段性输出；

步骤C，描述性解码：再次利用所述神经网络模型对所述阶段性输出进行新的计算预测，以得到所有词汇表中的单词的输出概率，并从中选出概率最大的文本作为输出。

作为本发明的进一步改进，所述步骤A包括如下步骤：步骤A01，将字段名和其对应的属性值作为神经网络模型的主要输入，采用词嵌入的方式对用户提交的数据文件进行编码，分别得到字段词嵌入向量和属性词嵌入向量，将所述字段词嵌入向量和属性词嵌入向量处理成一个新的语义向量，用f_w表示字段名的词嵌入向量，v_w表示该字段对应的属性词嵌入向量，将f_w和v_w拼接成一个新的语义向量r_w，其中r_w＝concat{f_w,v_w}；