[发明专利]一种基于大数据的权重自适应方法及大数据系统

说明书

本申请涉及大数据技术领域，提供了一种基于大数据的权重自适应方法及大数据系统。所述方法包括：获取动态重要样本库，基于所述动态重要样本库确定待识别文本对应的关键词集合及所述关键词集合中每个词语的初始权重；分别提取所述关键词集合中的名词和动词，得到名词词组和动词词组；将所述名词词组中各个词语依次与所述动词词组中每个词语组合，得到多个词语对；根据所述动态重要样本库及所述初始权重，重构具有突变关系的词语对的新权重，基于所述新权重识别所述待识别文本的重要性。本申请提高了数据重要性识别准确度。

技术领域

本申请涉及大数据技术领域，尤其涉及一种基于大数据的权重自适应方法及大数据系统。

背景技术

随着大数据时代的到来，数据呈爆炸性增长，如何从海量数据中识别重要数据是当前的关注要点。当前通常将待识别文本中的词语与关键词库进行匹配，以确定待识别文本中的关键词及其对应的权重，再根据各个关键词的权重确定待识别文本是否为重要数据。然而，这种方式未考虑待识别文本中关键词之间的关联性，使得重要性识别结果不准确，待识别文本中多个关键词的重要性并不能通过权重的简单叠加来体现。因此，亟需一种基于大数据的权重自适应方法，以准确识别待识别文本的重要性。

发明内容

鉴于以上内容，本申请提供一种基于大数据的权重自适应方法及大数据系统，其目的在于准确识别待识别文本的重要性。

为实现上述目的，本申请提供一种基于大数据的权重自适应方法，其中，所述方法包括：

获取动态重要样本库，基于所述动态重要样本库确定待识别文本对应的关键词集合及所述关键词集合中每个词语的初始权重；

分别提取所述关键词集合中的名词和动词，得到名词词组和动词词组；

将所述名词词组中各个词语依次与所述动词词组中每个词语组合，得到多个词语对；

根据所述动态重要样本库及所述初始权重，重构具有突变关系的词语对的新权重，基于所述新权重识别所述待识别文本的重要性。

可选的，所述根据所述动态重要样本库及所述初始权重，重构具有突变关系的词语对的新权重，包括：

基于所述动态重要样本库，计算每个词语对的两个词语之间的关联值；

基于所述关联值判断每个词语对是否具有突变关系；

基于所述关联值及初始权重，重构具有突变关系的词语对的新权重。

可选的，所述分别提取所述关键词集合中的名词和动词，得到名词词组和动词词组，包括：

将所述关键词集合输入词性识别模型的词向量转换网络执行词向量转换处理，得到所述关键词集合中每个词语的词向量；

将所述待识别文本输入所述词性识别模型的文本向量提取网络执行文本向量提取处理，得到所述待识别文本对应的文本向量；

拼接所述词向量及文本向量，得到所述关键词集合中每个词语的特征向量；

将所述特征向量输入所述词性识别模型的词性分类网络，得到所述关键词集合中每个词语的词性分类结果；

基于所述词性分类结果提取所述关键词集合中的名词和动词，得到名词词组和动词词组。

可选的，所述基于所述动态重要样本库确定待识别文本对应的关键词集合及所述关键词集合中每个词语的初始权重，包括：

对所述待识别文本执行分词处理，得到词语集合；

将所述词语集合中每个词语与所述动态重要样本库进行匹配，得到关键词集合及所述关键词集合中每个词语的初始权重。