[发明专利]一种数据检测的方法及装置

说明书

技术领域

本发明实施例涉及数据检测技术，尤其涉及一种数据检测的方法及装置。

背景技术

随着互联网技术的革新，大数据开始蔓延至各个行业和领域，影响着人们的知识体系和生活方式。如何利用大数据激发和利用隐藏于数据内部未被发掘的价值，是当下研究的热门话题。

由于数据流较长，在数据分析处理或传输过程中，易存在数据丢失的情况，对数据挖掘等产生不良影响。现有技术通常做法是在技术人员质疑数据丢失时，采用人工定位的方式判断数据是否丢失，并对丢失环节进行大致的判断，判断结果准确度依赖于技术人员的经验，检测效率低。

发明内容

本发明实施例提供一种数据检测的方法及装置，以实现对数据丢失环节进行判断，提高检测效率。

第一方面，本发明实施例提供了一种数据检测的方法，该方法包括：生成至少一个处理环节的数据记录，所述数据记录包括每个处理环节的起始数据量和生成数据量；

根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息。

进一步地，所述处理环节包括数据生成子环节和数据处理子环节，所述生成至少一个处理环节的数据记录，包括：

在第一处理环节的数据生成子环节的起始时刻，将所述数据生成子环节的起始时刻和接收到的起始数据量记录到统计日志，所述第一处理环节为任意一个处理环节；

在所述数据生成子环节的结束时刻，将所述数据生成子环节的结束时刻和第一生成数据量记录到所述统计日志；

在所述数据处理子环节的结束时刻，将所述数据处理子环节的结束时刻和第二生成数据量记录到所述统计日志；

相应的，所述根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息，包括：

通过统计日志中接收数据总量、第一生成数据量和第二生成数据量，确定所述第一处理环节中的数据丢失信息。

进一步地，所述根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息，包括：

获取具有相同数据生成子环节的起始时刻的目标处理环节；

根据目标处理环节对应的起始数据量和生成数据量确定数据丢失信息；

相同数据生成时间的数据的丢失所在的环节。

进一步地，所述数据处理子环节对应的数据处理操作包括数据清洗、数据去重、数据归一化或标记数据标签中的是至少一种。

进一步地，所述处理环节包括格式转换环节、数据存入数据库环节或业务系统展示环节中的至少一个。

第二方面，本发明实施例还提供了一种数据检测的装置，该装置包括：

记录生成模块，用于生成至少一个处理环节的数据记录，所述数据记录包括每个处理环节的起始数据量和生成数据量；

丢失信息确定模块，用于根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息。

进一步地，所述处理环节包括数据生成子环节和数据处理子环节，所述记录生成模块，具体用于：

在第一处理环节的数据生成子环节的起始时刻，将所述数据生成子环节的起始时刻和接收到的起始数据量记录到统计日志，所述第一处理环节为任意一个处理环节；

在所述数据生成子环节的结束时刻，将所述数据生成子环节的结束时刻和第一生成数据量记录到所述统计日志；

在所述数据处理子环节的结束时刻，将所述数据处理子环节的结束时刻和第二生成数据量记录到所述统计日志；

相应的，所述丢失信息确定模块，具体用于：

通过统计日志中接收数据总量、第一生成数据量和第二生成数据量，确定所述第一处理环节中的数据丢失信息。

进一步地，所述丢失信息确定模块，包括：

获取具有相同数据生成子环节的起始时刻的目标处理环节；

根据目标处理环节对应的起始数据量和生成数据量确定数据丢失信息；

相同数据生成时间的数据的丢失所在的环节。

进一步地，所述数据处理子环节对应的数据处理操作包括数据清洗、数据去重、数据归一化或标记数据标签中的是至少一种。

进一步地，所述处理环节包括格式转换环节、数据存入数据库环节或业务系统展示环节中的至少一个。