[发明专利]一种数据处理方法、系统、存储介质及电子设备

说明书

本申请公开了一种数据处理方法、系统、存储介质及电子设备，获取待处理文本数据，对待处理文本数据进行数据类型识别得到数据类型结果，基于数据类型结果确定对应的特征配置列表，根据数据类型结果获取对应的提取规则，基于提取规则从特征配置列表中提取特征数据，当特征数据符合预设条件时，基于预设摘要规则和特征数据生成文本摘要数据。通过上述方案，在包含非特殊字符等复杂数据结构下，对不同的数据类型进行特征提取处理，得到各自对应的特征数据，满足了在复杂数据结构下的类型自动识别、特征自动提取、文本摘要自动生成等需求，提高了获取文本摘要数据的准确性。此外，将文本摘要数据进行相似度算法识别，提高了相似度计算结果的准确性。

技术领域

本申请涉及数据处理技术领域，更具体地说，涉及一种数据处理方法、系统、存储介质及电子设备。

背景技术

在自然语言处理任务中，判断两篇文档是否相似，通过相似度算法计算两篇文档的相似程度。比如，基于聚类算法发现微博热点话题时，需要度量各篇文本的内容相似度，然后让内容足够相似的微博聚成一个簇；在对语料进行预处理时，基于文本的相似度，把重复的文本给选出来并删除。

在相似度算法计算前，通常会对数据进行预处理，目前常用的预处理的方法是去掉数据中的特殊字符(如标点、括号、标签等)，但是，在面对复杂数据对象(如结构数据)时，会受到非特殊字符(字母、数字、汉字)的干扰，使得无法在复杂结构数据中把重复的文本给选出来并删除，造成生成的文本摘要数据包含重复的文本，从而降低了生成文本摘要数据的准确性。

因此，现有的生成文本摘要数据的准确性低。

发明内容

有鉴于此，本申请公开了一种数据处理方法、系统、存储介质及电子设备，旨在满足在复杂数据结构下的类型自动识别、特征自动提取、文本摘要自动生成等需求，提高了获取文本摘要数据的准确性。

为了实现上述目的，其公开的技术方案如下：

本申请第一方面公开了一种数据处理方法，所述方法包括：

获取待处理文本数据；所述待处理文本数据根据用户需求进行采集得到；

对所述待处理文本数据进行数据类型识别，得到数据类型结果，并基于所述数据类型结果，确定对应的特征配置列表；

根据所述数据类型结果获取对应的提取规则，并基于所述提取规则从所述特征配置列表中提取特征数据；

当所述特征数据符合预设条件时，基于预设摘要规则和符合预设条件的特征数据，生成文本摘要数据；所述预设摘要规则由所述特征配置列表的摘要规则字段确定。

优选的，所述对所述待处理文本数据进行数据类型识别，得到数据类型结果，并基于所述数据类型结果，确定对应的特征配置列表，包括：

对所述待处理文本数据进行数据类型识别；

当所述待处理文本数据的数据类型为String类型时，生成String类型结果，并基于所述String类型结果对所述待处理文本数据进行解析，得到String类型特征配置列表；

当所述待处理文本数据的数据类型为XML类型时，生成XML类型结果，并基于所述XML类型结果对所述待处理文本数据进行解析，得到XML类型特征配置列表；

当所述待处理文本数据的数据类型为JSON类型时，生成JSON类型结果，并基于所述JSON类型结果对所述待处理文本数据进行解析，得到JSON类型特征配置列表。

优选的，所述根据所述数据类型结果获取对应的提取规则，并基于所述提取规则从所述特征配置列表中提取特征数据，包括：

对所述数据类型结果进行判定；