[发明专利]一种数据筛选方法、装置、设备及存储介质

说明书

本发明公开了一种数据筛选方法、装置、设备及存储介质。该方法包括：获取待筛选文本词汇；将所述待筛选文本词汇与加权词典库进行碰撞匹配，筛选出相关性大于设定阈值的目标文本词汇；将所述目标文本词汇输入TextRank算法中，得到骨架语句；将所述待筛选文本词汇和所述骨架语句输入因果论断模型，得到所述骨架语句的评分，其中，所述因果论断模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：文本词汇样本、文本词汇样本对应的骨架语句和骨架语句评分样本，通过本发明的技术方案，能够解决维护人员无法根据提取出的情感词汇进行相应的维护，和/或无法根据提取出的情感词汇给予相应奖励的问题。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据筛选方法、装置、设备及存储介质。

背景技术

情感数据计算分析是一种常见的自然语言处理(NLP)方法的应用，它会对含有情感色彩词汇的文本进行分析、处理、归纳以及映射到一些量化数据的指标上，可以理解为文本分类。传统情感分析方法为基于词典的方法和机器学习算法。词典分析算法首先需要对文本进行分词以及分句，然后将分词列表数据与词典进行逐个匹配，并记录匹配到的情感词分值，最后统计所有分词的情感分值总和，得到文本的情感倾向。

向量空间模型是常用来处理文本挖掘的文档建模方法，把文本内容的处理简化为向量空间中的向量运算，当文档被表示为文档空间的向量时，就可以通过计算向量之间的相似性来度量文档见的相似性，他的一些实现方式包括：

1)N-gram模型：基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。

2)TF-IDF模型：若某个词在一篇文档中出现频率高，却在其他文章中很少出现，则认为该词具有很好的类别区分能力。

3)Paragraph Vector模型:其实是word vector的一种拓展，他们将文本的词向量进行相加/求平均。

基于词典分析的情感算法：传统的基于情感词典的分析算法受限于情感词典的质量和覆盖度。因为他从原理上是对人脑的简单模拟，核心模式是基于词典和规则，即以情感词典作为判断评论情感极性的主要依据，根据以往的经验对现有词汇做出评价的一种模型。比如说，通常把高兴、喜悦作为积极的词汇，把讨厌、糟糕作为消极词汇。通过句子中出现的情感词，预测该句子的情感机型。在该方法中，情感词典的构建以及判断规则的质量维护，都需要消耗大量的人力，包括人工经验以及先进知识。

基于机器学习的情感算法：基于机器学习的情感分析算法核心在于模型训练，模型训练依赖于标注数据集的质量。高质量的数据需要投入大量的人工成本，需要高质量的特征构造和选取。

除此之外，基于上述方法筛选出的情感词汇，只是单独的用于表述情感的词汇，例如：表现很好、不好用等，维护人员无法根据上述情感词汇进行相应的维护，或者，无法根据上述情感词汇给予相应奖励。

发明内容

本发明实施例提供一种数据筛选方法、装置、设备及存储介质，以解决维护人员无法根据提取出的情感词汇进行相应的维护，和/或无法根据提取出的情感词汇给予相应奖励的问题。

第一方面，本发明实施例提供了一种数据筛选方法，包括：

获取待筛选文本词汇；

将所述待筛选文本词汇与加权词典库进行碰撞匹配，筛选出相关性大于设定阈值的目标文本词汇；

将所述目标文本词汇输入TextRank算法中，得到骨架语句；

将所述待筛选文本词汇和所述骨架语句输入因果论断模型，得到所述骨架语句的评分，其中，所述因果论断模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：文本词汇样本、文本词汇样本对应的骨架语句和骨架语句评分样本。

进一步的，通过目标样本集迭代训练神经网络模型，包括：