[发明专利]一种数据完整性校验的方法及设备

说明书

本发明公开了一种数据完整性校验的方法、设备以及计算机可读存储介质，其中方法包括：接收来自日志采集系统所采集到的数据并将其存放于存储介质中；利用服务进程来定时检测接收到的所述数据的相关信息；对采集到的所述相关信息进行汇总计算；以及将计算的结果和存放于存储介质中的数据进行对比分析，以确定所述日志采集系统采集到的数据是否完整。本发明采用Master‑Salve模式的系统架构，通过计算比较最终实现实时监控采集数据的完整性和服务的稳定性，解决了当前分布式日志采集系统在数据采集过程中，无法保证数据的完整性以及无法监控到服务采集组件是否正常服务的问题。

技术领域

本发明一般地涉及计算机应用技术领域。更具体地，本发明涉及一种基于日志采集系统的数据完整性校验的方法及设备。

背景技术

随着计算机技术、网络技术的快速发展，云计算、大数据以及互联网+成为当下新兴的技术，给人们带来了极大的便利。在这种大环境下，数据采集、特别是数据的完整性采集和存储成为热门的话题。

目前大型应用业务系统或者平台产生巨大的日志量，系统日志采集和分析是系统运维维护及用户分析的基础。系统日志一般可分为三大类：用户行为日志，其是系统用户在使用系统的过程中一系列的操作记录日志；业务变更日志，其是为特定业务场所需，采集某用户在某时段使用某种功能，对某业务(对象、数据)进行某操作；系统运行日志，其是对系统运行服务器资源、网络及基础中间件的情况进行定时采集日志分析。日志采集过程中的数据完整性是指数据的精确性和可靠性。它是应防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息而提出的。数据完整性的校验在日志采集过程中显得尤其重要。

由于单机系统通常无法完成日志的采集工作，现有技术采用分布式架构系统进行收集，此架构的系统将业务系统的打点日志分别存放在多台机器上。目前分布式日志采集系统很多种，比如Flume系统，Filebeat系统以及Logstash系统等。但是，这些系统在数据采集过程中，无法保证数据的完整性，同时无法监控到服务采集组件是否正常的服务。

发明内容

考虑到上面存在的技术问题，本发明提出了相应的解决方案，其系统架构主要采用Master-Salve模式，可以用来实时监控数据采集的完整性和日志采集系统服务的稳定性。

具体地，在一个方面中，本发明提出了一种数据完整性校验的方法，包括：

接收来自日志采集系统所采集到的数据并将其存放于存储介质中；

利用服务进程来定时检测接收到的所述数据的相关信息；

对采集到的所述相关信息进行汇总计算；以及

将计算的结果和存放于存储介质中的数据进行对比分析，以确定所述日志采集系统采集到的数据是否完整。

在一个实施例中，所述日志采集系统对多台服务器上的日志进行采集。

在另一个实施例中，所述相关信息包括日志文件的大小和条数。

在又一个实施例中，所述存储介质是具有分布式文件系统架构的数据库，其配置用来在数据完整性校验过程中存放采集到的数据。

在一个实施例中，所述服务进程包括监控服务进程，该进程用来监测日志采集系统运行的稳定性。

在另一个实施例中，所述存储介质是具有mySQL架构的数据库，其配置用来在监控日志采集系统运行稳定性的过程中存放采集到的数据。

在又一个实施例中，在检测日志采集系统稳定性的过程中，该方法进一步包括利用Web界面对采集到的数据进行观测。

在另一个实施例中，所述方法的系统架构采用Master-Salve模式。

在另一方面中，本发明还公开了一种数据完整性校验的设备，包括：