[发明专利]一种数据处理方法及装置

说明书

本发明的实施例提供一种数据处理方法，数据处理装置获取第一数据集，确定所述第一数据集的数据特征相对于第二数据集的数据特征的变化，所述第二数据集为所述数据处理装置在获取所述第一数据集之前收到的数据集；当所述第一数据集的数据特征相对于所述第二数据集的数据特征的变化大于或等于预设数据特征阈值时，根据所述第一数据集的数据特征确定超参数；根据所述确定的超参数和所述第一数据集确定第一数据模型；根据所述确定的第一数据模型进行数据处理，提高了确定第一数据模型的效率，从而提高了进行数据处理的效率。

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法及装置。

背景技术

数据挖掘是数据库知识发现(Knowledge Discovery in Databases，KDD)中的一个步骤，通过从大量数据中寻找隐藏的关系提取出有价值的信息。数据挖掘的一般流程包括业务理解、数据理解、数据准备、超参数(Hyperparameter)设置、建立模型、模型评估、模型部署，其中，建立模型需要使用超参数，可以使用随机森林算法建立模型，随机森林是一种有监督的集成学习分类技术，其模型由一组决策树分类器组成，模型对数据的分类是通过单个决策树的分类结果进行集体投票来决定最终结果。它结合了Leo Breiman的Bagging集成学习理论与Ho提出的随机子空间方法，通过对训练样本空间和属性空间注入随机性，充分保证了每个决策树之间的独立性和差异性，很好地克服了决策树过拟合问题，同时对噪声和异常值也有较好的鲁棒性(Robust)。

数据挖掘技术主要分为两个发展方向，一个是针对静态数据进行建立模型分析，一个是针对不断变化的数据进行增量建立模型分析。在增量建立模型分析中，当有新的数据集时，需要更新原来已创建的模型，以确保更新后的模型能够反映新的数据集的信息。增量建立模型分析处理的是不断变化的数据集，数据集不同，建立模型所需要使用的超参数就可能不同。因此，为了保证使用新数据集更新原来已创建的模型后，得到的更新后的模型的模型效果不变差，就需要对创建原模型时使用的超参数进行调整。然而，在数据不断变化的情况下，目前对超参数进行调整依赖专家经验，需要专家根据模型效果来调整超参数，效率低下，导致在进行数据处理时的效率低下。

发明内容

本发明的实施例提供一种数据处理方法和装置，能够解决在数据不断变化的情况下，调整超参数依赖专家经验导致超参数调整效率低，从而导致数据处理效率低的问题。

第一方面，提供了一种数据处理方法，包含数据处理装置利用第一数据模型对接收到的数据集进行处理的过程，所述第一数据模型根据超参数确定，所述方法包括：

所述数据处理装置获取第一数据集，确定所述第一数据集的数据特征相对于第二数据集的数据特征的变化，所述第二数据集为所述数据处理装置在获取所述第一数据集之前收到的数据集；

当所述第一数据集的数据特征相对于所述第二数据集的数据特征的变化大于或等于预设数据特征阈值时，根据所述第一数据集的数据特征确定超参数；

根据所述确定的超参数和所述第一数据集确定第一数据模型；

根据所述确定的第一数据模型进行数据处理。

结合第一方面的实现方式，在第一方面第一种可能的实现方式中，所述方法还包括第二数据模型，根据所述第一数据集确定所述第二数据模型的效果；根据所述第一数据集和所述第二数据模型，确定第三数据模型；根据所述第一数据集确定所述第三数据模型的效果；确定所述第三数据模型的效果相对于所述第二数据模型的效果的变化；当所述第三数据模型的效果相对于所述第二数据模型的效果的变化大于或等于预设模型效果阈值时，根据所述第一数据集的数据特征确定超参数。

结合第一方面、第一方面的第一种可能的实现方式，在第二种可能实现的方式中，所述方法还包括窗口长度，所述窗口长度为大于等于1的整数。