[发明专利]一种数据集约化管理转分发的方法

说明书

本发明公开了一种数据集约化管理转分发的方法，本发明针对传统方法在检测离群点时常因冗余数据的干扰而导致检测用时较长、检测准确率偏低的问题，利用大规模数据集离群点检测算法，采用核主成分分析方法对大规模数据集进行降维处理，去除其中存在的冗余数据，该方法的检测时间始终低于0.4min，且检测准确率始终保持在90%以上，说明该算法能够快速、准确地检测大规模数据集中的离群点。

技术领域

发明数据集处理领域，尤其涉及一种数据集约化管理转分发的方法。

背景技术

相对于大量常规数据来说，数据集中存在的离群点是一种异常孤立的数据模式。通常情况下，数据集中存在的离群点会被作为噪声而被消除，但部分离群点中会存在一些重要的信息。离群点检测就是结合可视化、统计学、智能计算、机器学习等多种技术对数据集中存在的离群点进行识别， 便于后续的数据处理和分析。因为离群点中可能存在有效信息，因此离群检测在气象预测、预防电信诈骗、市场分析、医疗保险和预防信用卡欺诈等领域中得到了广泛的应用，具有重要的现实意义和学术意义。

现有的基于马氏距离的数据集离群点检测算法，该算法通过阶比重采样方法对大规模数据集中存在的原始数据进行预处理，并对数据进行量纲－因子分析，结合马氏距离采用多元线性归回方法构建离群点检测模型，实现对大规模数据集离群点的检测。然而因在大规欧模数据集下量纲－因子分析过程较为复杂，导致该算法转变数据形式所用的时间较长，存在检测效率低的问题。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种数据集约化管理转分发的方法。

本发明所采用的技术方案是，包括数据装备功能模块、数据管理功能模块、数据应用功能模块；

所述数据装备功能模块对设备过去和现在的参数进行数据统计、归类、查询和输出，在不同生命周期内对设备的属性进行适当的分类，并在系统中进行重复查询和搜索使用；对于新购入设备以及设备的参数可以进行修改，对于改扩建工程根据工程内容，对设备参数进行更新，设备与工程需要进行关联，完成数据的流转，从而对工程和设备参数进行流程化管理；

所述数据管理功能模块，完成对数据模式定义、数据存取的物理构建、数据操纵、数据的完整性、安全性定义和检查、数据库的并发控制与故障恢复、数据的服务，根据不同的数据模式，将数据信息发送给调度中心，建立运行方式审查和实时监测平台，在此过程中，调用相关的设备和网络结构数据；

所述数据应用功能模块，该功能模块与调度系统进行接口，提供运行设备参数，设备参数以公共信息模型的标准格式进行输出，并且为其他的调度外系统进行设备参数查询和调用，外系统可以利用输出设备参数进行比对或导入，输出时可以按单个设备、所有设备、一类设备或某地区等条件进行设置。

进一步地，建立责任机制，从而管理人员或运维人员对自己的操作行为负责，包括应用日志记录和数字签名等技术手段进行抗抵赖设计；

（1） 日志记录

通过对用户行为记录日志，并采取措施保障日志信息的完整性；

（2） 数字签名

用户的所有操作行为进行数字签名，记录操作行为及操作时间。

进一步地，数据安全性防护，包括应用、操作系统和网络，是防止系统被篡改，或被注入病毒木马，或者恶意调整了系统结构，统一用户管理和身份认证、RBAC 授权管理与RBAC、统一加解密，跨区数据交互的主要安全基础设施如下：

（1）身份管理与身份认证基础设施；

（2）授权管理和 RBAC 基础设施；

（3）加密解密基础设施；

（4）系统安全管理、监控与审计基础设施。

进一步地，所述数据管理功能模块利用离群点检测算法对数据集进行降维处理，去除大规模数据集中存在的冗余数据，进而缩短离群点检测过程所需的时间；

输入空间中存在 N个数据,A代表样本对应的协方差，其表达式如下：