[发明专利]一种基于DAMA理论的大数据治理方法和系统有效
申请号: | 202111213648.3 | 申请日: | 2021-10-19 |
公开(公告)号: | CN113641663B | 公开(公告)日: | 2022-01-18 |
发明(设计)人: | 周文群 | 申请(专利权)人: | 北京金鸿睿信息科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/2458;G06F16/25 |
代理公司: | 北京金宏来专利代理事务所(特殊普通合伙) 11641 | 代理人: | 刘慧红 |
地址: | 100193 北京市海淀区东北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 dama 理论 数据 治理 方法 系统 | ||
1.一种基于DAMA理论的大数据治理方法,其特征在于,包括:
步骤1:获取可接入数据资源;
步骤2:接入所述可接入数据资源,并基于预设的大数据基础平台,对所述可接入数据资源进行组织和综合管理,生成业务管理结果;
步骤3:接收所述业务管理结果,并将所述业务管理结果输送至消费端口;其中,
所述消费端口至少包括用户端口、应用端口和分析端口的一种或多种;所述步骤2,之前还包括:
步骤100:计算可接入数据资源的采样容量;
其中,代表可接入数据资源的采样容量,代表第批可接入数据资源的采样容量,,代表可接入数据资源总批数,代表第批可接入数据资源中的第个资源数据,,代表资源数据的总个数,代表第批可接入数据资源中的第个采样容量,代表第批可接入数据资源中的第个资源数据采样时的占用容量;
步骤101:计算预设的内存接入容量和采样容量的损失差值;
其中,代表损失差值,代表第批可接入数据资源的容量差值,代表内存接入容量;
步骤102:对所述损失差值进行划分,确定划分结果;
其中,为划分结果,代表预测的损失差值,当划分结果为,即时,划分的损失差值为第一类划分结果;当划分结果为,即时,划分的损失差值为第二类划分结果;当划分结果为,即时,划分的损失差值为第三类划分结果;当划分结果为,即时,划分的损失差值为第四类划分结果;
步骤103:当划分的损失差值为第一类划分结果,将可接入数据资源的损失差值进行增量,确定增量数据;
当划分的损失差值为第二类划分结果和第三类划分结果,获取可接入数据资源的数据容量,并通过数据容量,确定对应的批量数据或全量数据;
当划分的损失差值为第四类划分结果,将可接入数据资源进行实时接入,确定实时数据。
2.如权利要求1所述的一种基于DAMA理论的大数据治理方法,其特征在于,所述步骤2,包括:
步骤201:获取可接入数据资源,通过预设的数据接入方式对可接入数据资源进行数据接入到大数据单元,确定多源异构数据资源;其中,所述数据接入方式包括批量数据接入、实时数据接入、全量数据接入和增量数据接入;
步骤202:对所述多源异构数据资源进行统一汇聚,确定业务数据,并将所述业务数据传输至一站式数据组织管理单元;
步骤203:对所述业务数据进行管理、综合利用和安全管控,并生成对应的业务管理结果。
3.如权利要求2所述的一种基于DAMA理论的大数据治理方法,其特征在于,所述步骤203,还包括以下步骤:
步骤S1:获取业务数据,根据所述业务数据,配置业务基础信息;其中,所述业务基础信息至少包括数据源和机构角色;
步骤S2:基于预设的规范设计工具,对所述业务基础信息进行规范设计,确定规范数据;其中,所述规范设计包括业务建模、标准定义和物理表创建;
步骤S3:将所述规范数据传输至预设的任务处理模型中,基于预设的可视化工具,对所述规范数据进行加工、提炼和再存储,生成目标数据;
步骤S4:基于预设的数据检测周期,定期对所述目标数据进行检测,并生成质量报告;其中,所述数据检测周期包括数据需求响应周期和数据服务建设周期;
步骤S5:当所述质量报告合格时,通过预设的数据服务方式,发布数据服务;其中,所述数据服务方式为通过预设的规则,授权对应数据的方式;
步骤S6:接收数据服务的服务结果,通过所述服务结果,规整技术资产,通过所述技术资产,辅助用户构建业务资产,并生成对应的业务管理结果。
4.如权利要求3所述的一种基于DAMA理论的大数据治理方法,其特征在于,所述步骤S4,包括:
步骤S401:接收资产数据和安全管控数据,确定接收时长,通过所述接收时长,确定数据需求响应周期;
步骤S402:通过所述数据需求响应周期,划分数据服务建设周期;
步骤S403:通过所述数据服务建设周期,定期对所述目标数据进行检测,并生成质量报告。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金鸿睿信息科技有限公司,未经北京金鸿睿信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111213648.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置