[发明专利]一种异常数据的校验方法和装置

权利要求书

1.一种异常数据的校验方法，其特征在于，包括：

获取预设数据的已存文件的信息和所述预设数据的远程源文件的信息；所述已存文件的信息包括所述已存文件的大小信息和数量信息，所述远程源文件的信息包括所述远程源文件的IP地址信息以及所述远程源文件的大小信息；

根据所述远程源文件的信息验证所述已存文件，并保存所述验证得到的所述已存文件的异常数据的信息，其中，验证所述已存文件，包括：验证所述已存文件的数量、每个文件大小，以及验证所述已存文件是否包括空文件；验证所述已存文件的数量，包括：比对所述已存文件的数量和所述远程源文件的IP地址数是否一致，如果一致，则验证通过，否则验证不通过，其中每个IP地址在一定时间内产生文件的个数与配置的文件下载粒度相关；验证所述已存文件的每个文件大小，包括：判断远程源文件的大小与已存文件的大小的比值是否在预设的区间范围内，若是，则验证通过，否则验证不通过；验证所述已存文件是否包括空文件，包括：将所述已存文件中每个文件大小与预设值进行比对，若比对一致，则所述已存文件包括空文件，否则所述已存文件不包括空文件；

通过配置定时任务定时读取保存的所述异常数据的信息，并根据所述异常数据的信息从所述远程源文件获取所述异常数据的校正数据；

将所述已存文件中的所述异常数据更新为所述校正数据，并在下一个定时任务启动时再次校验所述校正数据。

2.根据权利要求1所述的方法，其特征在于，所述异常数据的信息保存在HBase数据库中，且通过curl命令访问所述HBase数据库以读取所述异常数据的信息。

3.根据权利要求1所述的方法，其特征在于，通过多并发线程获取所述异常数据的校正数据。

4.根据权利要求1所述的方法，其特征在于，保存所述验证得到的所述已存文件的异常数据的信息之后，还包括：根据所述异常数据的信息生成监控报警消息。

5.根据权利要求1所述的方法，其特征在于，将所述已存文件中的所述异常数据更新为所述校正数据之前，还包括：压缩处理所述校正数据。

6.一种异常数据的校验装置，其特征在于，包括：

获取模块，用于获取预设数据的已存文件的信息和所述预设数据的远程源文件的信息；所述已存文件的信息包括所述已存文件的大小信息和数量信息，所述远程源文件的信息包括所述远程源文件的IP地址信息以及所述远程源文件的大小信息；

验证模块，用于根据所述远程源文件的信息验证所述已存文件，并保存所述验证得到的所述已存文件的异常数据的信息，其中，验证所述已存文件，包括：验证所述已存文件的数量、每个文件大小，以及验证所述已存文件是否包括空文件；验证所述已存文件的数量，包括：比对所述已存文件的数量和所述远程源文件的IP地址数是否一致，如果一致，则验证通过，否则验证不通过，其中每个IP地址在一定时间内产生文件的个数与配置的文件下载粒度相关；验证所述已存文件的每个文件大小，包括：判断远程源文件的大小与已存文件的大小的比值是否在预设的区间范围内，若是，则验证通过，否则验证不通过；验证所述已存文件是否包括空文件，包括：将所述已存文件中每个文件大小与预设值进行比对，若比对一致，则所述已存文件包括空文件，否则所述已存文件不包括空文件；

下载模块，用于通过配置定时任务定时读取保存的所述异常数据的信息，并根据所述异常数据的信息从所述远程源文件获取所述异常数据的校正数据；

校正模块，用于将所述已存文件中的所述异常数据更新为所述校正数据，并在下一个定时任务启动时再次校验所述校正数据。

7.根据权利要求6所述的装置，其特征在于，所述验证模块还用于：将所述异常数据的信息保存在HBase数据库中，

且所述下载模块还用于：通过curl命令访问所述HBase数据库以读取所述异常数据的信息。

8.根据权利要求6所述的装置，其特征在于，所述下载模块还用于：

通过多并发线程获取所述异常数据的校正数据。