[发明专利]一种基于DAMA理论的大数据治理方法和系统

说明书

本发明提供一种基于DAMA理论的大数据治理方法，包括：获取可接入数据资源；接入所述可接入数据，并基于预设的大数据基础平台，对所述可接入数据进行组织和综合管理，生成业务管理结果；接收所述业务管理结果，并将所述业务管理结果输送至消费端口；其中，所述消费端口至少包括用户端口、应用端口和分析端口的一种或多种，本发明基于DAMA理论和最佳实践，涵盖了数据的全生命周期治理特征处理，提供不同层级的数据标准管理体系、灵活可扩展的数据源适配方法、快速的数据服务发布方式等功能，为大数据的治理提供了一套高效、科学的解决方案，实现了跨大数据平台的统一治理系统。

技术领域

本发明涉及数据处理系统、大数据治理技术领域，特别涉及一种基于DAMA理论的大数据治理方法和系统。

背景技术

目前，数据处理系统应用在各行各业，行政、商业、金融等行业，都对组件多样、统一数据提出要求，为了满足不同业务需求会存储多份在不同组件中、有实时计算、离线计算等多条计算路径等问题，目前大多数数据治理系统，在对数据处理的问题上，均是采用类似的狭义数据治理方法，往往不能“治理”到数据的最源头和最末端，难以实现兼容多种规格的平台产品进行统一治理。

DAMA理论是数据管理的知识体系，主要对数据治理工作提出的一套理论框架。

发明内容

本发明提供一种基于DAMA理论的大数据治理方法和系统，以解决上述问题。

本发明提供一种基于DAMA理论的大数据治理方法，其特征在于，包括：

步骤1：获取可接入数据资源；

步骤2：接入所述可接入数据资源，并基于预设的大数据基础平台，对所述可接入数据资源进行组织和综合管理，生成业务管理结果；

步骤3：接收所述业务管理结果，并将所述业务管理结果输送至消费端口；其中，

所述消费端口至少包括用户端口、应用端口和分析端口的一种或多种。

作为本技术方案的一种实施例，所述步骤2，之前还包括：

步骤100：计算可接入数据资源的采样容量；

其中，代表可接入数据资源的采样容量，代表第批可接入数据资源的采样容量，，代表可接入数据资源总批数，代表第批可接入数据资源中的第个资源数据，，代表资源数据的总个数，代表第批可接入数据资源中的第个采样容量,代表第批可接入数据资源中的第个资源数据采样时的占用容量；

步骤101：计算预设的内存接入容量和采样容量的损失差值；

其中，代表损失差值，代表第批可接入数据资源的容量差值，代表内存接入容量；

步骤102：对所述损失差值进行划分，确定划分结果；

其中，为划分结果，代表预测的损失差值，当划分结果为，即时，划分的损失差值为第一类划分结果；当划分结果为，即时，划分的损失差值为第二类划分结果；当划分结果为，即时，划分的损失差值为第三类划分结果；当划分结果为，即时，划分的损失差值为第四类划分结果；

步骤103：当划分的损失差值为第一类划分结果，将可接入数据资源的损失差值进行增量，确定增量数据；

当划分的损失差值为第二类划分结果和第三类划分结果，获取可接入数据资源的数据容量，并通过数据容量，确定对应的批量数据或全量数据；

当划分的损失差值为第四类划分结果，将可接入数据资源进行实时接入，确定实时数据。

作为本技术方案的一种实施例，所述步骤2，包括：