[发明专利]基于人工智能技术的数据资产管理与监测方法

说明书

本发明涉及计算机应用技术领域，具体为基于人工智能技术的数据资产管理与监测方法。本发明的步骤包括连接外部数据源、原子数据、数据发现引擎等。本发明采用人工智能、大数据、知识图谱等多种技术融合，100％替代传统企业数据资产质量管理与监测工作，极大的提高了梳理数据资产、梳理业务流程的准确性，降低了人员工作量，节约了资源。

技术领域

本发明涉及计算机应用技术领域，具体为基于人工智能技术的数据资产管理与监测方法。

背景技术

目前，国家电网公司处理业务数据存在一些不足：

2017年公司接入数据中心的数总据量达56.95T。但数据质量不高，数据资产身份不唯一数据五花八门、乱象丛生，同一数据在不同部门有不同的标准和形式；由于数据质量差导致数据共享困难，无法有效开展跨系统大数据分析，致使海量数据资应用受限，难以支撑数据资产在业务场景的决策和应用。关键数据资产不能全寿命周期贯通，大多局限于部门最优，难以实现综合最优；对于增量数据的管理仍存在业务规则不统一、系统数据不连续的问题。这些突出问题，对深化数据资产全寿命周期管理形成了严重的制约。靠人工处理具有劳动效率低下和运营成本高等缺点。

发明内容

因此，为了克服上述的不足，本发明提供基于人工智能技术的数据资产管理与监测方法，它能够有效的解决上述问题。

本发明采取的技术方案如下：

数据资产质量管理与监测系统，包括如下步骤：

第一步：连接外部数据源，其包括结构化数据源和非结构化数据源，结构化数据源包括ERP系统、PMS系统、营销应用、人资管控、财务管控、物质管控、基建管控及GIS系统的国网业务系统；非结构化数据源包括国网非结构化平台和统一数据交换平台，统一数据交换平台包括影像信息；

第二步：对第一步中数据库涉及的数据进行分类及处理，得到原子数据，原子数据包括如下：

数据模型，数据库获取的用户表结构；

原始数据，关系数据库是按行存储的，不利用关系寻找和使用，原始数据将关系数据库的数据转为列式存储，原子数据是将列存储的数据进行数据去重压缩形成；

原子数据一，其具有结构化的特征，原子数据一是将列存储的数据进行数据去重压缩形成；

E文件数据，即电力标准调度文件格式；

原子数据二，其文本化的特征，原子数据二是从步骤一数据库获取的大文本数据以及外部文件格式数据；

原子数据三，具有图片及视频特征的数据，原子数据三是从第一步的非结构化数据源及统一数据交换平台接入的影像信息；

原子数据四，具有声音特征的数据，原子数据四是从第一步的非结构化数据源；

第三步：对第二步中的数据进行分析计算，得出数据发现引擎，数据发现引擎包括模型计算、数据识别、关系发现及流程还原；第二步中的数据包括原子数据一、原始数据、E文件数据、原子数据二、原子数据三、原子数据四；

模型计算的方法为：根据第二步的数据模型，利用原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；

数据识别的方法为：使用基于高维词向量分析的深度学习算法，对数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别。对于识别后的数据，表示其为潜在业务主数据和公共主数据；