[发明专利]一种数据清洗方法、装置、电子设备及存储介质

权利要求书

1.一种数据清洗方法，包括：

获取样本数据；

根据所述样本数据确定一般成员集合，其中所述一般成员集合包括所述样本数据中的全部一般成员；

根据所述样本数据确定特殊成员集合，其中所述一般成员集合包括所述样本数据中的全部特殊成员；

根据所述一般成员集合和所述特殊成员集合得到清洁数据集。

2.根据权利要求1所述的方法，还包括：

在所述一般成员集合中检索符合预设的选择条件的成员，得到一般成员子集；

在所述特殊成员集合中检索符合所述预设的选择条件的成员，得到特殊成员子集；

所述根据所述一般成员集合和所述特殊成员集合得到清洁数据集，包括：

根据所述一般成员子集和所述特殊成员子集的到清洁数据集。

3.根据权利要求1所述的方法，其中所述一般成员集合包和所述特殊成员集合包含至少一个相同属性。

4.根据权利要求3所述的方法，还包括：

确定所述一般成员集合中每个成员的评价因子；

确定所述特殊成员集合中每个成员的所述评价因子；

其中，所述评价因子为根据成员的所述至少一个相同属性的预设线性表达式得到。

5.根据权利要求4所述的方法，其中所述预设的选择条件为所述评价因子与第一阈值的比较结果。

6.一种数据清洗装置，包括：

样本数据获取单元，用于获取样本数据；

一般成员集合建立单元，用于根据所述样本数据，建立一般成员集合；

特殊成员集合建立单元，用于根据所述样本数据，建立特殊成员集合；

清洁数据获取单元，用于根据所述一般成员集合和所述特殊成员集合确定清洁数据集。

7.根据权利要求6所述的装置，还包括：

一般成员子集建立单元，连接于所述一般成员集合建立单元和所述清洁数据获取单元之间，用于根据所述一般成员集合建立一般成员子集；

特殊成员子集建立单元，连接于所述特殊成员集合建立单元和所述清洁数据获取单元之间，用于根据所述特殊成员集合建立特殊成员子集。

8.根据权利要求7所述的装置，还包括：

评价因子确定单元，用于确定所述一般成员集合中的成员的评价因子，所述一般成员集合中的成员的评价因子用于建立所述一般成员子集，

评价因子确定单元还用于确定所述特殊成员集合的成员的评价因子，所述特殊成员集合的成员的评价因子用于建立所述特殊成员子集。

9.一种电子设备，包括处理器和存储器，以及存储于所述存储器的，所述处理器可执行的程序，当所述程序被执行时，所述处理器执行权利要求1-5中任意一项所述的方法。

10.一种存储介质，存储处理器可执行的程序，当所述程序被执行时，所述处理器执行权利要求1-5中任意一项所述的方法。