[发明专利]基于在线学习的统计量确定方法及系统

说明书

本发明涉及一种基于在线学习的统计量确定方法及系统，所述统计量确定方法包括：实时获取当前t时刻来自客户端的待处理数据，并确定待处理数据的类型；预先设定合格检验标准及可靠检验标准；筛选出合格数据；调取(t‑1)时刻统计量；根据合格数据及(t‑1)时刻统计量，确定t时刻统计量；检测当前待处理数据是否可靠，如果可靠，则删除合格数据，t时刻统计量为时刻t的终值统计量；否则根据t时刻统计量及合格数据，计算出不包含合格数据的统计量，确定t时刻的终值统计量；存储时刻t的终值统计量。本发明根据同时符合合格标准及可靠标准的数据更新统计量，并删除所述数据，避免数据占用大量内容，同时更新统计量与数据存储无关，提高统计量的更新速度。

技术领域

本发明涉及计算机数据处理技术领域，特别涉及一种基于在线学习的统计量确定方法及系统。

背景技术

信息科技经过几十年的发展，已经在各行各业中发挥着巨大的作用，人类社会的政治、经济等活动需要获取信息，就要对数据进行采集和分析。随着信息化的迅猛发展，社会中的各个领域都面临着数据呈爆炸性增长的挑战。据IDC的统计显示，到2020年，全球数据总量预计将到达40ZB，相当于4万亿GB，约为2011年数据总量的22倍，人均数据预计达5247GB。因此数据是当今时代增长最快的资源之一。增长速度如此飞快的数据资源给传统的数据分析带来了巨大的困难。

为了应对这样的困难，与大数据相关的技术迅速涌出，成为信息科学领域的一个热点问题。当前，普遍认同的观点是大数据具有四个基本特征：数据规模大(Volumn)、数据种类多(Varicty)、数据要求的处理速度快(Velocity)和数据价值密度低(Value)，这四个基本特征也被称为4V模型。这些特征使得大数据有别于普通的海量数据，大数据除了能处理海量数据之外，对可适应的复杂度、处理速度和数据的价值还有更高的要求。

目前大数据需要解决的核心问题包括：

(一)获取有用数据

大数据所要处理的数据规模是巨大的，其种类也相当复杂，如果不对获取的数据进行预处理，就可能导致大量错误的数据涌入，使得最后得到错误的结果，因为数据本身的优劣对结果有着很大的影响。因此获取了新数据后，往往要通过一定的算法从原始数据中抽取出有效数据，摒除错误数据对结果的影响。

(二)数据分析的准确性与快速性

对数据的分析的要求包括准确性与快速性。大量的数据只有通过适当的处理分析，应用于特定的场景，才能使之转化为有用的信息。由于数据类型的繁多，大量非结构化数据难以得到有效的处理，因此数据的许多价值很可能将被埋没，得到的结果准确度将下降。另外，由于数据量的巨大，使得处理数据花费的时间成本增多，这对于实际生产来说是十分低效的。因此需要寻求恰当的方法使得在数据分析的过程中可以兼顾准确性与快速性。

(三)处理数据的实时性

传统数据处理是等待所有数据都获取完毕才能进行分析，其计算过程需要全体而大数据时代，数据是以“流”的形式源源不断地产生，若用传统数据处理方式势必会产生巨大的时间浪费。因此若能实时获取数据，实时分析数据，实时处理数据，实时得到数据结果，将会在很大程度上提高数据处理的效率和可靠性。

在传统的数据分析中，统计是一项重要的手段。统计是一项通过采集数据，分析和计算，得到统计结果的工作，它可以借助数据的特征或关系等，对其进行定量或定性分析，从而得到一定的本质关系或发展规律，进而进行决策。其中，统计量，如均值、方差、众数、中位数和百分位数等，是通过对数据用统计的方法处理而得到的变量，它是样本数据的一种指标，是反映样本数据性质的一个值。