[发明专利]一种企业数据摸底系统及其工作方法

说明书

本发明公开了一种企业数据摸底系统及其工作方法，其系统包括元数据采集管理模块、数据资源摸底模块、数据标准分析模块、数据质检规则分析模块、数据安全敏感信息分析模块和作业调度与监控模块。本专利的优点在于：1、可以自动化的收集和企业元数据资产信息并能使元数据和字典信息充分得到应用。2、可以通过摸底动作对元数据信息进行补充和扩展，描述实际数据的形态和特征，更加方便数据使用方理解和使用元数据。3、通过摸底信息进行二次分析，支持企业定制自己的数据标准、数据质量检查规则和数据安全保护策略。4、方便数据集成开发分析人员直接使用数据，复用知识，缩短数据质量检查分析环节的时间周期，提升数据分析的效率。

技术领域

本发明涉及大数据资源管理和数据分析应用技术领域，具体涉及一种自动化的企业数据摸底方法，能辅助企业在开展大数据分析和数据管理等实践活动时提升数据使用与分析挖掘的效率。

背景技术

近年来，随着企业数字化转型升级，以大数据、云计算、人工智能为代表的新一代信息技术在企业发展中扮演着重要角色。成为推动供给侧结构性改革、促进国家经济的发展的强大动力。随着企业信息化建设程度不断升入，大部分企业已经完成了不同业务条线的信息系统建设。由于信息化缺乏统一规划，各部门基本各自为政，导致业务系统反复规划重复建设、功能模块分散重叠，在技术面分别采购不同IT厂商的业务系统，彼此技术架构不通，标准不统一，在后续系统升级和系统集成时困难重重成效不明，这使得信息孤岛效应更加恶化。企业在数字化转型过程中面临的主要困难表现为一是大部分企业和政府部门的数据基础还很薄弱，存在数据标准混乱，数据质量层次不齐，各条块之间数据孤岛化严重等现象，阻碍了数据的共享应用。

二是数据的应用空间亟待开拓，受限于数据规模和数据源种类的丰富程度，多数企业的数据应用刚刚起步，主要集中数据报表、绩效指标，精准营销，舆情感知和风险控制等有限场景，应用深度还不够。三是数据的价值很难评估，数据价值的不确定性，导致了无法对数据的成本以及对业务的贡献进行评估，也就无法像运营有形资产一样管理数据。

(一)从数据资产管理的角度看，数据摸底是数据资产化过程的第一环

数据成为资产，已经是行业共识。但如果对比实物资产，对数据资产的管理，还处于非常原始的阶段。往往一个企业机构针对其数据资产类别和数量都缺乏全面了解，数据质量、数据安全、数据标准、资产交换交易等精细管理、价值挖掘和持续运营则更为薄弱。为此全面了解机构企业自身的数据状况，摸清自身的数据家底至关重要，也是企业走向字化转型的关键第一步。

以上问题，在行业内基本已经形成了标准的数据治理框架，即包含八个活动职能(数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等)和两个保障措施(组织架构、制度体系)。活动职能是指落实数据管理的一系列具体行为，保障措施是为了支持活动职能实现的一些辅助的组织架构和制度体系。在具体实践过程中，企业都会面临数据摸底盘点梳理的过程，由于此过程做到细致会花费巨大的成本投入，目前还没有比较成型的技术化方案来解决这个问题。大多数情况下都是依赖人工手动处理和分析，这也是在实践数据资产管理或者数据治理相关工作的过程中面临的实际困扰问题，通过人工处理和分析很难高效的刻画出不同行业客户数据的特征面貌，这样势必会对最终项目效益造成影响。

(二)从数据集成开发角度看，数据摸底是持续数据价值挖掘过程的第一环

从数据集成开发的角度看，现数摸底对于数据质量保证是非常重要的一个环节，它是决定最后数据正确性的非常关键的一步。数据摸底的输出成果为ETL团队提供了开发实践指导，告诉他们需要使用多少数据清洗机制，并且使他们不会因为创建处理脏数据的系统分散了注意力而遗漏忽略业务目标。预先进行数据摸底工作是持续数据价值挖掘过程中的第一环，使用数据探查结果，可以设定业务发起人对于实际数据开发时间、源数据的局限性和对更好地源数据捕捉方法进行投资的需求等的期望，可以有效的减少业务发起者和数据集成开发者之间的理解认知误差而带来的冲突矛盾。