[发明专利]数据清洗方法及装置和信息推荐方法及装置

说明书

本公开涉及数据清洗方法及装置和信息推荐方法及装置，涉及数据处理领域。数据清洗方法包括：将数据集按第一属性进行分组，得到至少一个数据子集；根据所述数据子集的第二属性，确定与每个数据子集对应的采样比例；根据一数据的第一属性，确定该数据所在数据子集对应的采样比例；比较所述采样比例和所述数据对应的预设阈值；根据比较结果，确定是否保留所述数据。根据本公开，考虑了数据中存在的由外部因素引入的噪声，减少了噪声数据对模型训练的影响。

技术领域

本公开涉及数据处理领域，特别涉及数据清洗方法及装置和信息推荐方法及装置、计算机可存储介质。

背景技术

随着电子商务规模的不断扩大，根据不同用户的喜好挖掘生成用户画像，为每位用户提供“千人千面”的个性化推荐内容的能力成为电商网站的核心竞争力。

在个性化推荐的排序阶段，通常要构建模型，提高个性化推荐的准确性。在模型构建的过程中，需要大量的训练数据对模型进行训练。训练数据是否准确、合理成为决定模型效果好坏的关键。在使用训练数据训练模型之前，通常会采用相关的数据清洗技术对训练数据进行预处理。

相关的数据清洗技术关注于重复数据的去除、缺失值和无效值的补全、非法数据的处理等。

发明内容

发明人认为：相关的数据清洗技术关注于重复数据的去除、缺失值和无效值的补全、非法数据的处理，无法减少外部因素引入的噪声对模型训练的影响。

针对上述技术问题，本公开提出了一种解决方案，考虑了数据中存在的由外部因素引入的噪声，减少了噪声数据对模型训练的影响。

根据本公开的第一方面，提供了一种数据清洗方法，包括：将数据集按第一属性进行分组，得到至少一个数据子集；根据所述数据子集的第二属性，确定与每个数据子集对应的采样比例；根据一数据的第一属性，确定该数据所在数据子集对应的采样比例；比较所述采样比例和所述数据对应的预设阈值；根据比较结果，确定是否保留所述数据。

在一些实施例中，所述数据的第二属性为第一值，根据比较结果，确定是否保留所述数据包括：在所述采样比例小于或者等于所述数据对应的预设阈值的情况下，确定保留所述数据。

在一些实施例中，所述第一属性为用户ID；所述第二属性为点击标签。

在一些实施例中，根据所述数据子集的第二属性，确定与每个数据子集对应的采样比例包括：根据第二属性，计算每个数据子集对应的点击率；根据每个数据子集对应的点击率，确定该数据子集对应的采样比例。

在一些实施例中，根据第二属性，计算每个数据子集对应的点击率包括：计算每个数据子集中第二属性为第二值的数据的数量占每个数据子集中的数据总量的比例，作为每个数据子集对应的点击率。

在一些实施例中，根据每个数据子集对应的点击率，确定该数据子集对应的采样比例包括：根据每个数据子集对应的点击率，得到点击率的分布范围；将点击率的分布范围划分为至少一个点击率区间，每个点击率区间对应一个采样比例；根据每个数据子集对应的点击率所在的点击率区间，得到该数据子集对应的采样比例。

在一些实施例中，数据清洗方法还包括：建立采样比例表，所述采样比例表反映每个数据子集的第一属性与采样比例之间的对应关系。

在一些实施例中，根据一数据的第一属性，确定该数据所在数据子集对应的采样比例包括：根据一数据的第一属性，查询所述采样比例表，确定该数据所在数据子集的采样比例。

在一些实施例中，数据集中的每个数据对应一个预设阈值，所述预设阈值为0～1之间服从均匀分布的随机数。