[发明专利]数据统计完整度计算方法和系统

说明书

本发明公开了一种数据统计完整度计算方法和系统，所述方法包括以下步骤：持续采集网络设备上的运行数据；将所述运行数据按生产时间点汇总，并对汇总后的运行数据进行数据统计计算；用所述汇总后的运行数据的数据统计计算结果，计算所述运行数据的数据统计完整度。本发明提供一种数据统计完整度的计算方法和系统，能够实时地计算数据统计结果的完整度。一方面可作为分布式系统的统计数据的质量指标，另一方面可用于监控系统数据采集和统计过程的异常情况，有助于及时发现和分析网络设备运行和数据计算过程的异常。

技术领域

本发明涉及计算机网络数据技术领域，特别涉及一种数据统计完整度计算方法和系统。

背景技术

分布式系统是建立在网络之上的软件系统，通常部署在一组独立的网络设备上，对外展现给用户的是一个统一的整体，提供多种业务能力，由系统内的全部或部分设备组合运行各个业务应用。系统通常基于设备产生的运行数据做数据统计，为用户提供具有业务价值的统计数据。

分布式系统基于设备运行数据的采集和统计的过程通常是多层级和复杂的，在现实计算过程中可能因为设备、网络、系统、程序等多种因素出现异常，造成部分运行数据没有进入计算过程，从而导致数据统计结果因数据缺失而不完整。因此需要计算数据统计完整度，作为衡量数据统计结果的质量指标。

现有的技术已有基于监控已知规模的网络设备的运行数据，实现对整个网络设备集群和每个网络设备监控的方法。该方法主要基于保存网络设备运行数据和处理状态的数据质量表，实现对指定时间范围、设备范围、指标范围的运行数据查询统计，以计算出目标范围的数据完整率。主要用于监控网络设备的运行数据完整性，以发现网络设备的异常状况。

然而现有方法并不能够满足大规模分布式系统对各种业务的数据统计结果完整度的计算需求，其不足包括以下几点：(1)大规模分布式系统的网络设备集群规模大，少则上百多则上万，生产数据的时间粒度通常是分钟级，设备产生的运行数据量非常大，需要应用大数据分布式存储和并行计算技术。(2)数据完整度的目标对象是不同业务的数据统计结果，而不是网络设备。运行数据经过多个层级计算处理，每一种数据统计结果都可以用完整度作为质量指标。(3)不同业务的运行数据可能来自不同范围的网络设备集群，且设备数量也会随时间动态变化，因此要有可扩展的数据存储结构和结合设备集群的实时信息的计算方法，才能精确计算出目标业务数据的完整度。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据统计完整度计算方法和系统。所述技术方案如下：

一方面，一种数据统计完整度计算方法，包括以下步骤：

持续采集网络设备上的运行数据；

将运行数据按生产时间点汇总，并对汇总后的运行数据进行数据统计计算；

用汇总后的运行数据的数据统计计算结果，计算运行数据的数据统计完整度。

进一步的，持续采集网络设备上的运行数据的具体步骤包括：

设置数据计算中心和数据统计完整度表，数据计算中心用于数据采集、存储和计算，数据统计完整度表用于保存数据统计完整度计算数据；

持续采集网络设备上的运行数据。

进一步的，将运行数据按生产时间点汇总，并对汇总后的运行数据进行数据统计计算的具体步骤包括：

将从网络设备上持续采集到的运行数据汇总到数据计算中心，按生产时间点整合；

保存整合后的运行数据；

存储已保存的运行数据的来源设备信息，来源设备信息包括运行数据指标、时间点和来源设备数；

对整合后的运行数据进行数据统计计算。