[发明专利]一种链路预测关系推荐的用户数据预处理系统

说明书

本发明公开了一种链路预测关系推荐的用户数据预处理系统，所述数据预处理系统钩架包括：链路预测关系推荐层、数据层、数据处理层、系统管理层、业务层、应用层、数据访问层以及视图层。本发明通过分析具体预处理算法的特点并得到相应的智能推荐方案，构造一个多代理架构的数据预处理整体框架，框架将预处理算法、用户交互、系统调度等功能集成在整个系统中，链路预测关系层使该框架具有开放性和可扩充性，为不同背景下的预处理任务提供支持，针对数据预处理系统的智能化问题，知识发现模型代理描述数据预处理过程的各个部分，用知识库方式为用户提供一个科学的算法推荐方案，通过粗糙集理论对知识的分类能力，实现算法的智能推荐。

技术领域

本发明涉及账本管理技术领域，更具体地说，本发明涉及一种链路预测关系推荐的用户数据预处理系统。

背景技术

随着物联网、移动互联网及智能手机的快速发展，数据产量呈指数式增长，大数据技术应运而生，由于各种因素，采集到的数据不可避免的出现质量问题，使用这些“脏数据”进行数据挖掘，可能导致不正确的知识挖掘和错误的数据分析，会给研究人员甚至企业带来误导和损失。为提高数据质量，需要对用户数据集进行数据预处理，特别是相似重复数据检测和异常数据检测尤为重要。

现有技术存在以下不足：现有数据预处理系统存在处理大规模数据效率低下、字段匹配算法选取不当以及检测精度依赖于特征选取，且数据预处理系统通用性差、不易扩展和对资源调度不够充分。

发明内容

本发明提供一种链路预测关系推荐的用户数据预处理系统，通过分析具体预处理算法的特点并得到相应的智能推荐方案，构造一个多代理架构的数据预处理整体框架，框架将预处理算法、用户交互、系统调度等功能集成在整个系统中，链路预测关系层使该框架具有开放性和可扩充性，为不同背景下的预处理任务提供支持，针对数据预处理系统的智能化问题，知识发现模型代理描述数据预处理过程的各个部分，用知识库方式为用户提供一个科学的算法推荐方案，通过粗糙集理论对知识的分类能力，实现算法的智能推荐，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种链路预测关系推荐的用户数据预处理系统，所述数据预处理系统钩架包括：链路预测关系推荐层、数据层、数据处理层、系统管理层、业务层、应用层、数据访问层以及视图层；

链路预测关系推荐层包括多个节点的数据集合，各所述节点携带有个人数据及关系数据；

数据层位于系统底层，是整个系统的数据提供层，由不同形式的数据组成，实现系统数据的存储，保证数据的完整性，数据存储的位置根据系统需要进行指定；

数据处理层包括对数据进行预处理操作，对外部数据源的抽取和转存操作，对数据的存储备份和历史数据的持久化存储，在减少各层间耦合性的同时，优化后续算法；

系统管理层包括解析用户提交的服务请求，得到相应任务的预处理任务计划，并按照得到的计划调度执行，中间管理层分为注册/注销、分析智能体和调度智能体，分别实现管理层的注册管理、任务分析管理和任务执行调度；

业务层汇集数据处理层的算法输出结果，并根据应用的具体需求，提供相应的服务接口；

应用层与用户进行交互，包括当前集群使用情况以及数据内容展示；

数据访问层对数据库的连接操作，通过数据库共享连接来对数据库进行访问；

视图层是系统与用户联系的窗口，用户通过前端页面对系统进行访问操作，系统将用户所能使用的功能按页面模块的形式展示给用户。