[发明专利]一种数据检测的方法及装置

权利要求书

1.一种数据检测的方法，其特征在于，包括：

生成至少一个处理环节的数据记录，所述数据记录包括每个处理环节的起始数据量和生成数据量；

根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息。

2.根据权利要求1所述的方法，其特征在于，所述处理环节包括数据生成子环节和数据处理子环节，所述生成至少一个处理环节的数据记录，包括：

在第一处理环节的数据生成子环节的起始时刻，将所述数据生成子环节的起始时刻和接收到的起始数据量记录到统计日志，所述第一处理环节为任意一个处理环节；

在所述数据生成子环节的结束时刻，将所述数据生成子环节的结束时刻和第一生成数据量记录到所述统计日志；

在所述数据处理子环节的结束时刻，将所述数据处理子环节的结束时刻和第二生成数据量记录到所述统计日志；

相应的，所述根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息，包括：

通过统计日志中接收数据总量、第一生成数据量和第二生成数据量，确定所述第一处理环节中的数据丢失信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息，包括：

获取具有相同数据生成子环节的起始时刻的目标处理环节；

根据目标处理环节对应的起始数据量和生成数据量确定数据丢失信息；

相同数据生成时间的数据的丢失所在的环节。

4.根据权利要求2或3所述的方法，其特征在于，所述数据处理子环节对应的数据处理操作包括数据清洗、数据去重、数据归一化或标记数据标签中的是至少一种。

5.根据权利要求1所述的方法，其特征在于，所述处理环节包括格式转换环节、数据存入数据库环节或业务系统展示环节中的至少一个。

6.一种数据检测的装置，其特征在于，包括：

记录生成模块，用于生成至少一个处理环节的数据记录，所述数据记录包括每个处理环节的起始数据量和生成数据量；

丢失信息确定模块，用于根据所述至少一个处理环节对应的起始数据量和生成数据量确定数据丢失信息。

7.根据权利要求6所述的装置，其特征在于，所述处理环节包括数据生成子环节和数据处理子环节，所述记录生成模块，具体用于：

在第一处理环节的数据生成子环节的起始时刻，将所述数据生成子环节的起始时刻和接收到的起始数据量记录到统计日志，所述第一处理环节为任意一个处理环节；

在所述数据生成子环节的结束时刻，将所述数据生成子环节的结束时刻和第一生成数据量记录到所述统计日志；

在所述数据处理子环节的结束时刻，将所述数据处理子环节的结束时刻和第二生成数据量记录到所述统计日志；

相应的，所述丢失信息确定模块，具体用于：

通过统计日志中接收数据总量、第一生成数据量和第二生成数据量，确定所述第一处理环节中的数据丢失信息。

8.根据权利要求7所述的装置，其特征在于，所述丢失信息确定模块，包括：

获取具有相同数据生成子环节的起始时刻的目标处理环节；

根据目标处理环节对应的起始数据量和生成数据量确定数据丢失信息；

相同数据生成时间的数据的丢失所在的环节。

9.根据权利要求7或8所述的装置，其特征在于，所述数据处理子环节对应的数据处理操作包括数据清洗、数据去重、数据归一化或标记数据标签中的是至少一种。

10.根据权利要求6所述的装置，其特征在于，所述处理环节包括格式转换环节、数据存入数据库环节或业务系统展示环节中的至少一个。