[发明专利]数据处理方法及相关装置

说明书

本申请提出一种数据处理方法及相关装置，可应用于地图领域、交通领域等大数据场景中。该方法包括：接收管理节点发送的目标领域的目标训练数据集，目标训练数据集包括多个原始特征，每个训练数据集包含的原始特征的特征标识相同；调用目标领域对应的特定分布函数，生成目标训练数据集的第一随机特征；根据第一随机特征，对目标训练数据集中的每个原始特征进行特征贡献评估处理，得到每个原始特征的特征类型；根据每个原始特征的特征类型从多个原始特征中筛选出目标特征；将筛选出的目标特征发送至管理节点，以使管理节点根据k个时间周期的目标特征确定筛选特征。本申请可以提高特征筛选的准确性和效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、一种数据处理装置、一种计算机设备、一种计算机可读存储介质及一种计算机程序产品。

背景技术

在诸如金融领域、地图领域、交通领域等大数据场景中，特征筛选成为大数据场景中数据分析的重要一环。目前特征筛选方法主要是人工对训练数据集中的多个原始特征进行筛选以获取筛选后的目标特征。目前这种人工筛选的方式准确性较低，因此如何提高特征筛选的准确性是当前亟待解决的一个技术问题。

发明内容

本申请实施例提出了一种数据处理方法、装置、系统、计算机设备、计算机可读存储介质及计算机程序产品，可以提高特征筛选的准确性和效率。

一方面，本申请实施例提供了一种数据处理方法，该方法包括：

接收管理节点发送的目标领域的目标训练数据集，目标训练数据集包括多个原始特征，目标训练数据集是k个训练数据集中的一个训练数据集，每个训练数据集对应一个时间周期，每个训练数据集包含的原始特征的特征标识相同，k为正整数；

调用目标领域对应的特定分布函数，生成目标训练数据集的第一随机特征；

根据第一随机特征，对目标训练数据集中的每个原始特征进行特征贡献评估处理，得到每个原始特征的特征类型；

根据每个原始特征的特征类型从多个原始特征中筛选出目标特征；

将筛选出的目标特征发送至管理节点，以使管理节点根据k个时间周期的目标特征确定筛选特征。

一方面，本申请实施例提供了一种数据处理方法，该方法包括：

获取目标时间段内属于目标领域的样本数据集，目标时间段包括k个时间周期，样本数据集包括k个时间周期一一对应的训练数据集，一个训练数据集包括多个原始特征，每个训练数据集包含的原始特征的特征标识相同，k为正整数；

将k个训练数据集分别发送至k个工作节点，以使目标工作节点根据目标训练数据集中的每个原始特征的特征类型，从多个原始特征中筛选出目标特征，每个原始特征的特征类型是目标工作节点根据第一随机特征，对原始特征进行特征贡献评估处理后确定的，第一随机特征是调用目标领域对应的特定分布函数生成的特征，目标工作节点是k个工作节点中的任一工作节点，目标训练数据集是目标工作节点接收到的训练数据集；

接收k个工作节点发送的目标特征，并将接收到的目标特征进行汇总，得到筛选特征，输出筛选特征。

一方面，本申请实施例提供了一种数据处理装置，该装置包括：

接收单元，用于接收管理节点发送的目标领域的目标训练数据集，目标训练数据集包括多个原始特征，目标训练数据集是k个训练数据集中的一个训练数据集，每个训练数据集对应一个时间周期，每个训练数据集包含的原始特征的特征标识相同，k为正整数；

处理单元，用于调用目标领域对应的特定分布函数，生成目标训练数据集的第一随机特征；

处理单元，还用于根据第一随机特征，对目标训练数据集中的每个原始特征进行特征贡献评估处理，得到每个原始特征的特征类型；