[发明专利]一种基于人工智能的数据标准分析建立方法

说明书

本发明公开了一种基于人工智能的数据标准分析建立方法，涉及数据分析技术领域，包括以下步骤：预先采集源数据信息，并基于数据协议建立基础数据标准集合；对建立的基础数据标准集合进行预处理，获取各个标准集的子数据仓；建立基础数据标准集合的管理数据库，用于对建立基础数据标准集合和各个标准集的子数据仓，提供标准管理和版本管理工具；建立通用数据导入工具和数据采集库，用于为建立的管理数据库提供标准化数据采集，实现各类采集数据的自动入库。本发明实现标准化数据采集，便于各类采集数据的自动入库，满足数据互通互联，同时消除数据重复采集的现象，能解决数据不一致、统计不准确的问题。

技术领域

本发明涉及数据分析技术领域，具体来说，涉及一种基于人工智能的数据标准分析建立方法。

背景技术

中职学校在智能化校园建设过程中，随着学校管理对信息化要求的提高，尤其是随着诊断与改进工作的全面推进，学校无法通过信息化手段完成围绕着诊改推行要求的规范管理工作，也无法通过信息化平台为诊改数据采集系统提供准确及时的过程数据和应对其余多项数据填报工作。

目前学校已有的各业务管理系统中，数据采集标准不统一，数据口径不唯一，缺乏完整性、真实性和准确性，无法实现数据共享和互通，数据的共享均靠数据表格导入导出，方式陈旧落后。系统间的数据无法完全同步，造成数据管理交叉杂乱，学校数据采集、录入、填报、校对工作烦乱复杂。各业务系统有交叉业务，但系统因建设部门的管理职责问题，绝大多数系统无法对其他业务部门开放，无法进行共享数据分享查看，甚至无法协同管理和流转应用，更无法实时进行数据交换，尚属于按业务条线有壁垒的运行状态。各业务系统因采购时期不同，需求设计和业务流转内容不同，所使用的开发语言、技术框架、系统设计的用户量级均不同，会给后期整合和维护工作造成较高风险。也有系统因无法持续更新而停用，过往资料和业务系统数据没有保存留档；新进更新过的业务系统没有留存老系统历史数据等问题。因此，技术问题造成的系统间协同、集成难以实现问题非常明显。

检索中国发明专利CN110476158A公开了一种数据分析设备，包括：频率分析单元，其在预定条件下对多个训练数据块中的每块执行频率分析，所述多个训练数据块包括其中一些已经被分配了指示数据类的标签的多个类的训练数据块；聚类分析单元，其将频率分析后训练数据块聚类成数个类的频率分析后训练数据；计算单元，其基于聚类来计算被分配了同一标签的频率分析后训练数据块没有被包括在同一聚类中的程度；以及选择单元，其从多个被计算出的程度当中选择根据当最小的程度被计算出时的聚类分析单元的聚类结果，作为用于对训练数据块分配标签的聚类模型。但其不能满足标准化数据采集，以及各类采集数据的自动入库，数据之间协调性较差。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于人工智能的数据标准分析建立方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于人工智能的数据标准分析建立方法，包括以下步骤：

步骤S1，预先采集源数据信息，并基于数据协议建立基础数据标准集合；

步骤S2，对建立的基础数据标准集合进行预处理，获取各个标准集的子数据仓；

步骤S3，建立基础数据标准集合的管理数据库，用于对建立基础数据标准集合和各个标准集的子数据仓，提供标准管理和版本管理工具；

步骤S4，建立通用数据导入工具和数据采集库，用于为建立的管理数据库提供标准化数据采集，实现各类采集数据的自动入库。

进一步的，所述采集源数据信息，还包括以下步骤：

进行样本数据采集，包括外部数据填报；

对获取的数据信息进行数据治理和异常数据处理；