[发明专利]一种基于深度学习的文本训练增强方法与系统

说明书

本发明给出了一种基于深度学习的文本训练增强方法与系统，包括首先针对特定需求获取对应的文本样本，并对文本样本进行初步处理；再将预处理数据分为训练集、验证集、测试集；最后通过特定的格式转化成机器语言，进行深度学习训练，得到一个深度学习模型，使用测试集对模型结果进行验证，对验证后发现问题的数据进行加强后加入原本的文本样本中，重新进行训练得到新的模型。对数据进行加强包括语句句式转换、不同词语之间的结合，还包括对词频较高的词语创设不同语境中都适用的句式，最终加强了原始的文本样本。使得在数据样本单一、数据样本数量少的情况下，依然能够进行文本训练，从而提高了信息甄别的准确率。

技术领域

本发明涉及自然语言处理技术领域，尤其是一种基于深度学习的文本训练增强方法与系统。

背景技术

近几年以深度学习技术为核心的人工智能得到广泛的关注，无论是学术界还是工业界，它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累。关于深度学习技术在文本领域的应用与成就层出不穷又各有千秋。

自然语言处理(NLP)是一种专业分析人类的语言的人工智能。整个过程的工作原理如下：首先收集大量的自然语言，对自然语言进行预处理工作；其次转译自然语言，通过深度学习算法；最终分析自然语言并输出结果。那么，在整个过程中，收集大量的自然语言，对语言进行预处理就需要花费大量的人力、物力。而自然语言预处理的结果也直接决定了最终模型的效果。

随着人工智能的发展，深度学习的趋势愈演愈烈，而基于深度学习的研究，数据必不可少。当下数据稀疏，数据广，导致所需数据过于单一，数据量无法满足深度学习训练；同时整理数据过程费事费力，针对数据单一，效率低，成效差这些情况，本文提出了一种基于深度学习的文本训练数据增强的方法，不仅能够丰富数据数量，同时扩充词语情境使用，提升数据模型训练的容错性，提升文本数据训练整体性能。

本文提出了一种基于深度学习训练的文本增强方法。首先针对特定需求获取对应的文本样本，基于人工检索的情况下，对数据进行初步处理；其次，将预处理数据分为训练集、验证集、测试集；通过特定的格式转化成机器语言，进行深度学习训练，得到一个深度学习模型，使用测试集对模型结果进行验证，查看其准确率。正常情况下，初步数据做的工作越少，模型的偏差结果越大。为了让模型更加强大，则需要对数据进行加强，在得到模型结果后，将结果数据进行整理，查看正确数据以及问题数据，根据问题数据进行数据加强，数据加强方式包括语句句式转换、不同词与词之间的结合。另外，针对非出错的数据也统一进行加强，通过人工检索获取高词频数据(关键词)，创设关键词在不同情境中的用法，增强样本数据，同时加强数据干扰。解决了数据样本单一、数据样本数量少的情况下，依然能够进行文本训练,进行情报信息获取，重要信息甄别的情况。

目前，对于深度学习文本训练的原有技术有：首先获取待训练文本，对待训练文本进行分类，获取到各个类型文本的中心向量，再进一步根据中心向量对文本进行区分。针对提取的各个类别的文本数据进行深度卷积神经网络训练，不断调整数据，纠正偏差，最终获取到一个能够提取到所需信息熵的模型。而该模型的效果更多是基于海量的数据，只有更具有代表性的文本数据，以及数据量更大，才能让模型更有价值。

发明内容

本发明提出了一种基于深度学习的文本训练增强方法与系统，以解决上文提到的现有技术的缺陷。

在一个方面，本发明提出了一种基于深度学习的文本训练增强方法，该方法包括以下步骤：

S1：针对待训练文本进行初步的数据分析从而将所述待训练文本划分在一定范围内，然后在所述一定范围内对所述待训练文本进行检索，获取所述待训练文本的定位再获取其中各个词语的词频，将词频超过一定数量的词语作为关键词；