[发明专利]数据处理方法及装置

说明书

本发明实施例提供一种数据处理方法及装置。其中，方法包括如下的步骤：获取未被作为业务关注数据存入数据库的异常数据；获取所述异常数据对应的标定数据；根据所述标定数据，所述异常数据的生成时间以及所述标定数据的生成时间，对所述异常数据进行补全。采用本发明实施例提供的技术方案，避免了现有技术中存在的补全后数据虚高的问题，使得补全后的异常数据更接近实际数据，提高了作为大数据基础的数据稳定性和准确性，有助于提高基于大数据分析的结果准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着线上到线下(Online To Offline)O2O行业的发展，O2O平台间的竞争越来越激烈。如何从网络侧获取准确的数据已变得越来越重要。但网络抓取数据存在诸多不确定因素，比如：网络抖动、网络延迟、网络页面调整、返回异常数据等都会导致数据的剧烈波动，出现数据缺失和数据异常的情况，从而影响数据获取的准确性。

为了避免这种问题，需要对抓取的数据进行补全处理。现有的数据补全策略有如下几种：一、根据数据的连续性或贝叶斯概率进行数据补全；二、对异常数据用均值替换；三、对异常数据进行二次抓取。

发明内容

分别采用上述各策略进行数据补全，发明人发现：策略一的算法实现较为复杂，计算效率低，开发成本高；策略二，使用均值来替换，补全的数据准确性不高；策略三，专门针对异常数据进行补抓，时间成本和经济成本较高。此外，若在餐饮外卖类O2O平台上使用上述各策略对异常数据进行补全发现，补全后的数据(例如菜品单量)会出现虚高的现象，其主要原因在于上述各策略均未考虑菜品单量自然下降的情况。可见，现有补全技术并不适用于外卖类应用场景。

于是，在本发明的一个实施例中，提供了一种数据处理方法。该方法包括：获取未被作为业务关注数据存入数据库的异常数据；获取所述异常数据对应的标定数据；根据所述标定数据，所述异常数据的生成时间以及所述标定数据的生成时间，对所述异常数据进行补全。

可选地，上述获取异常数据，包括：从网络侧获取符合预设业务关注需求的目标数据；若未获取到所述目标数据，则创建缺失数据，并将所述缺失数据标记为异常数据；若获取到所述目标数据，则对所述目标数据进行异常验证，并将未通过异常验证的所述目标数据标记为异常数据。

可选地，对所述目标数据进行异常验证的步骤，包括：获取所述目标数据对应的标定数据；将所述目标数据与所述目标数据对应的标定数据进行比较，得到比较结果；若所述比较结果不满足验证条件，则所述目标数据未通过所述异常验证。

可选地，上述方法还可包括：将所述标定数据更新为通过所述异常验证的所述目标数据。

可选地，所述异常数据中包含有用于区别数据所属对象的属性信息；以及所述获取异常数据对应的标定数据，包括：根据所述异常数据中包含的属性信息，查找具有相同属性信息的所述标定数据。

可选地，上述的方法还包括：获预设时间段内具有相同属性信息的历史数据；选取所述历史数据中的数据项作为所述标定数据；将所述数据项的生成时间记为所述标定数据的生成时间。

可选地，选取所述历史数据中的数据项作为所述标定数据，包括：

查找所述历史数据中数值最大的数据项，作为第一数据项；

按照预设的遍历策略，遍历所述历史数据中的数据项；

若遍历到的数据项相较所述第一数据项降幅未超过阈值，则将所述第一数据项更新为所述遍历到的数据项；

若遍历到的数据项相较所述第一数据项降幅超过所述阈值，则维持所述第一数据项不变；

继续遍历数据项直至满足终止条件为止，并将遍历结束时得到的所述第一数据项作为所述标定数据。