[发明专利]一种数据筛选方法、装置、设备及存储介质

权利要求书

1.一种数据筛选方法，其特征在于，包括：

获取待筛选文本词汇；

将所述待筛选文本词汇与加权词典库进行碰撞匹配，筛选出相关性大于设定阈值的目标文本词汇；

将所述目标文本词汇输入TextRank算法中，得到骨架语句；

将所述待筛选文本词汇和所述骨架语句输入因果论断模型，得到所述骨架语句的评分，其中，所述因果论断模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：文本词汇样本、文本词汇样本对应的骨架语句和骨架语句评分样本。

2.根据权利要求1所述的方法，其特征在于，通过目标样本集迭代训练神经网络模型，包括：

建立神经网络模型；

将所述目标样本集中的文本词汇样本和文本词汇样本对应的骨架语句输入所述神经网络模型，得到预测骨架语句评分；

根据所述预测骨架语句评分和所述骨架语句评分样本形成的目标函数训练所述神经网络模型的参数；

返回执行将所述目标样本集中的文本词汇样本和文本词汇样本对应的骨架语句输入所述神经网络模型，得到预测骨架语句评分的操作，直至得到因果论断模型。

3.根据权利要求1所述的方法，其特征在于，在将所述目标样本集中的文本词汇样本和文本词汇样本对应的骨架语句输入所述神经网络模型，得到预测骨架语句评分之后，还包括：

获取骨架语句评分大于评分阈值的目标骨架语句；

根据所述目标骨架语句查询关键词列表，得到所述目标骨架语句对应的关键词；

根据所述目标骨架语句对应的关键词确定目标地址；

将所述目标骨架语句发送至所述目标地址。

4.根据权利要求1所述的方法，其特征在于，将所述目标文本词汇输入TextRank算法中，得到骨架语，包括：

将所述目标文本词汇中的目标语句作为节点，根据目标语句之间的关系建立节点之间的边；

根据所述节点和边，得到骨架语句。

5.根据权利要求3所述的方法，其特征在于，在获取骨架语句评分大于评分阈值的目标骨架语句之后，还包括：

对所述目标骨架语句进行分词处理，得到至少一个目标词；

若在所述加权词典库中查找到所述目标词，则增加所述加权词典库中目标词的权重；

若未在所述加权词典库中查找到所述目标词，则将所述目标词存储至所述加权词典库中。

6.根据权利要求1所述的方法，其特征在于，获取待筛选文本词汇，包括：

获取评价文本数据；

通过TF-IDF关键词权重计算算法从所述评价文本数据中初步筛选出待筛选文本词汇。

7.一种数据筛选装置，其特征在于，包括：

获取模块，用于获取待筛选文本词汇；

筛选模块，用于将所述待筛选文本词汇与加权词典库进行碰撞匹配，筛选出相关性大于设定阈值的目标文本词汇；

第一确定模块，用于将所述目标文本词汇输入TextRank算法中，得到骨架语句；

第二确定模块，用于将所述待筛选文本词汇和所述骨架语句输入因果论断模型，得到所述骨架语句的评分，其中，所述因果论断模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：文本词汇样本、文本词汇样本对应的骨架语句和骨架语句评分样本。

8.根据权利要求7所述的装置，其特征在于，第二确定模块具体用于：

建立神经网络模型；

将所述目标样本集中的文本词汇样本和文本词汇样本对应的骨架语句输入所述神经网络模型，得到预测骨架语句评分；

根据所述预测骨架语句评分和所述骨架语句评分样本形成的目标函数训练所述神经网络模型的参数；

返回执行将所述目标样本集中的文本词汇样本和文本词汇样本对应的骨架语句输入所述神经网络模型，得到预测骨架语句评分的操作，直至得到因果论断模型。