[发明专利]一种智能数据筛选方法

说明书

本发明涉及数据筛选技术领域，尤其涉及一种智能数据筛选方法，包括如下步骤：建立数据集，录入数据，根据数据产生时间标记数据。建立数据库；计算均值，根据现有数据计算均值，确定数据中心值；计算方差及标准差，以现有数据为基础，计算出方差，确定数据离散程度；录入新数据，建立临时数据标识；新数据与均值求差，获得并记录数据变动距离值，通过数据变动距离值与标准差进行比较，得到对比结果；根据对比结果判断新数据，进行分类，并将新数据录入数据集中，形成新数据集。本发明计算数据集均值、方差及标准差，得出数据离散程度，并对新产生的数据进行筛选，丰富数据处理的手段，提高数据治理效率。

技术领域

本发明涉及数据筛选技术领域，尤其涉及一种智能数据筛选方法。

背景技术

近年来，大数据、人工智能、区块链等数字技术被广泛应用于智慧城市、公共事务管理等社会治理领域，加速了社会治理的数字化转型进程。

在数字化转型过程中，“数据治理”是最关键的环节之一。“数据治理”关注的是数据规划、数据获取、数据质量、数据共享、数据标注等数据管理的整个生命周期，是各个领域“智能决策”应用的关键支撑。

在“数据治理”中，智能数据需要进行筛选，现有筛选方法中，缺少可以根据数据离散程度进行筛选的方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种智能数据筛选方法。

为了实现上述目的，本发明采用了如下技术方案：

一种智能数据筛选方法，包括如下步骤：

步骤S1、建立数据集，录入数据，根据数据产生时间标记数据。建立数据库；

步骤S2、计算均值，根据现有数据计算均值，确定数据中心值；

步骤S3、计算方差及标准差，以现有数据为基础，计算出方差，确定数据离散程度；

步骤S4、录入新数据，建立临时数据标识；

步骤S5、新数据与均值求差，获得并记录数据变动距离值，通过数据变动距离值与标准差进行比较，得到对比结果；

步骤S6、根据对比结果判断新数据，进行分类，并将新数据录入数据集中，形成新数据集；

步骤S7、新数据集重复步骤S2及步骤S3，计算新均值、新方差及新标准差。

优选的，将数据处理对象，定义为数据集X，X＝(X₁，X₂，X₃，X₄， X₅，···X_n)，其中，n为数据集X包含的数据个数。

优选的，所述步骤S2中，计算出数据集中所有数据元素样本均值，设定为μ，

优选的，所述步骤S3中，计算出数据集的方差及标准差，分别设为S²及S，

优选的，所述步骤S4中，新数据定义为X_a，其中a＝n+1。

优选的，所述步骤S5及步骤S6中，数据变动距离值定义为λ，λ＝|X_a-μ|，建立分类数据集A及B，若Sλ，输出1，新数据X_a录入数据集A中；若S≦λ，输出0，新数据X_a录入数据集B中。

优选的，所述步骤S7中，令n＝a，将X_a加入数据集X中，形成新数据集，并重复计算均值、方差及标准差。

本发明的有益效果为：

与现有技术相比，本发明计算数据集均值、方差及标准差，得出数据离散程度，并对新产生的数据进行筛选，丰富数据处理的手段，提高数据治理效率。