[发明专利]基于人工智能技术的数据资产管理与监测方法

摘要

本发明涉及计算机应用技术领域，具体为基于人工智能技术的数据资产管理与监测方法。本发明的步骤包括连接外部数据源、原子数据、数据发现引擎等。本发明采用人工智能、大数据、知识图谱等多种技术融合，100％替代传统企业数据资产质量管理与监测工作，极大的提高了梳理数据资产、梳理业务流程的准确性，降低了人员工作量，节约了资源。

主权项

1.基于人工智能技术的数据资产管理与监测方法，其特征在于：包括如下步骤：第一步：连接外部数据源，其包括结构化数据源和非结构化数据源，结构化数据源包括ERP系统、PMS系统、营销应用、人资管控、财务管控、物质管控、基建管控及GIS系统的国网业务系统；非结构化数据源包括国网非结构化平台和统一数据交换平台，统一数据交换平台包括影像信息；第二步：对第一步中数据库涉及的数据进行分类及处理，得到原子数据，原子数据包括如下：数据模型，数据库获取的用户表结构；原始数据，关系数据库是按行存储的，不利用关系寻找和使用，原始数据将关系数据库的数据转为列式存储，原子数据是将列存储的数据进行数据去重压缩形成；原子数据一，其具有结构化的特征，原子数据一是将列存储的数据进行数据去重压缩形成；E文件数据，即电力标准调度文件格式；原子数据二，其文本化的特征，原子数据二是从步骤一数据库获取的大文本数据以及外部文件格式数据；原子数据三，具有图片及视频特征的数据，原子数据三是从第一步的非结构化数据源及统一数据交换平台接入的影像信息；原子数据四，具有声音特征的数据，原子数据四是从第一步的非结构化数据源；第三步：对第二步中的数据进行分析计算，得出数据发现引擎，数据发现引擎包括模型计算、数据识别、关系发现及流程还原；第二步中的数据包括原子数据一、原始数据、E文件数据、原子数据二、原子数据三、原子数据四；模型计算的方法为：根据第二步的数据模型，利用原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；数据识别的方法为：使用基于高维词向量分析的深度学习算法，对数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别；对于识别后的数据，表示其为潜在业务主数据和公共主数据；关系发现的方法为：借鉴物质化学构成原理构建人工智能模型，为具有相同、相似原子的文本数据建立一致的链接关系，并对其中组织机构、人员、业务对象的关系信息进行聚类，便于进行数据关联性、一致性和及时性分析；流程还原的方法为：结合数据链接关系、发生时间、发生过程和衍生关系四方面进行数据流程还原，辅助用户清晰对应业务流程，验证对应关系是否准确；第四步：通过第三步得出数据现状评估，数据现状评估包括元数据、主数据及数据流程；模型计算得出元数据，元数据包括模型现状和参考数据现状；模型现状是根据模型计算结果生成模型差异分析报告，供用户进行差异分析和数据治理；参考数据现状是根据数据内容形成的数据状态集；数据识别得出主数据，主数据包括市场现状、客户现状、安全现状、综合现状、人资现状、物资现状、项目现状、财务现状、资产现状、电网现状、人资流程、物资流程、项目流程、财务流程、资产流程、电网流程；其中，主数据现状包括推荐的主数据清单和主数据差异分析报告，主数据清单是指各系统中本身资产内容一致的数据资产形成的清单，主数据差异分析报告是指各系统中不一致的数据资产形成的报告；流程还得出数据流程，数据流程包括市场流程、客户流程、安全流程、综合流程；数据流程现状是数据流程的文字化记录，包括数据流程报告和数据流程差异报告；数据流程报告是指和标准流程对比后本身就一致的资产节点形成的流程报告，数据流程差异报告是指和标准流程不一致的内容形成的报告；第五步：根据第四步的数据及流程得出数据规则库，数据规则库包括流程环节主数据管理、流程环节特征计算、流程环节规则审核、流程环节规则入库，第六步：数据质量检测引擎，其包括模型监测、主数据监测、参考数据监测、流程数据监测、业务规则监测和数据规则监测，进入第七步；如果采用历史数据治理的结果则进入第二步中的原始数据，原子数据一，进入第三步，进入第四步，进入第五步，进入业务规则库，业务规则库包括流程环节主数据管理、流程环节标准制度入库、流程环节运行导则入库和流程环节专家规则入库，进入第六步；历史数据治理是根据数据现状差异报告中的内容进行历史数据治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；所述历史数据治理，包括人资数据治理、物资数据治理、资产数据治理、其他数据治理：历史数据治理是根据数据现状差异报告中的内容进行治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；第七步：SG‑RDB明细数据增量区；第八步：SG‑RDB明细数据全量区；第九步：MPP数仓明细数据区；第十步：数据资源服务目录；第十一步：专题场景支撑。