[发明专利]一种数据处理方法及服务器

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

确定源数据的不同维度的特征的相似度；

将相应维度的相似度满足条件的所述源数据聚类到相应维度的类别；

对于每个所述类别的源数据，确定对相应类别的源数据进行处理所包括的不同处理阶段的执行顺序、以及所述处理阶段所遵循的质量规则；

基于各所述处理阶段所遵循的质量规则，对相应类别的源数据按照确定的不同处理阶段的执行顺序进行处理；

建立用于表征历史源数据经过处理形成目标数据过程中的各节点数据与质量规则之间关联关系；

基于所述关联关系确定第一质量规则库集合与异常数据输出对象集合之间的第一关联关系；

在决策树模型中查找与所述第一关联关系匹配的质量规则，得到第一匹配结果；

基于所述第一匹配结果修改所述决策树模型。

2.根据权利要求1所述的数据处理方法，其特征在于，所述确定对相应类别的源数据进行处理所包括的不同处理阶段的执行顺序、以及所述处理阶段所遵循的质量规则，包括：

确定相应类别的源数据的输入特征；

基于所述输入特征在决策树模型中查找处理所述相应类别的源数据包括的不同处理阶段的执行顺序、以及所述处理阶段所遵循的质量规则；

所述决策树模型为基于历史源数据训练得到，用于表征不同输入特征的历史源数据与所应用的质量规则的对应关系。

3.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

根据历史的不同类别的所述源数据在各所述处理阶段进行处理后得到数据的质量，确定不同类别的所述源数据在各所述处理阶段进行处理后得到的数据的质量的变化规律；

根据所述变化规律，预测所述源数据在各所述处理阶段处理得到的数据的质量的分布。

4.根据权利要求1所述的数据处理方法，其特征在于，所述建立用于表征历史源数据经过处理形成目标数据过程中的各节点数据与质量规则之间关联关系之后，还包括：

基于所述关联关系确定数据质量程度与异常数据输出对象集合之间的第二关联关系；

在决策树模型中查找与所述第二关联关系匹配的数据质量程度，得到第二匹配结果；

基于所述第二匹配结果修改所述决策树模型。

5.根据权利要求1或4所述的数据处理方法，其特征在于，所述方法还包括：

基于修改后的决策树模型确定聚类后的源数据进行处理所包括的不同处理阶段的执行顺序、以及所述处理阶段所遵循的质量规则；

基于各所述处理阶段所遵循的质量规则，对聚类后的源数据按照确定的不同处理阶段的执行顺序进行处理；

监控所述源数据在各所述处理阶段处理得到的数据的质量，形成数据质量监控的闭环。

6.一种服务器，其特征在于，所述服务器包括至少一个处理器，以及至少一个存储器；其中：

所述至少一个处理器，用于确定源数据的不同维度的特征的相似度；

将相应维度的相似度满足条件的所述源数据聚类到相应维度的类别；

对于每个所述类别的源数据，确定对相应类别的源数据进行处理所包括的不同处理阶段的执行顺序、以及所述处理阶段所遵循的质量规则；

基于所述各所述处理阶段所遵循的质量规则，对相应类别的源数据按照确定的不同处理阶段的执行顺序进行处理；

所述至少一个存储器，用于存储处理所述源数据所遵循的质量规则；

所述处理器，还用于建立用于表征历史源数据经过处理形成目标数据过程中的各节点数据与质量规则之间关联关系；

基于所述关联关系确定第一质量规则库集合与异常数据输出对象集合之间的第一关联关系；

在决策树模型中查找与所述第一关联关系匹配的质量规则，得到第一匹配结果；

基于所述第一匹配结果修改所述决策树模型。