[发明专利]一种SAAS模式的系统中海量数据变更日志的采集方法

说明书

技术领域

本发明涉及数据处理技术领域，具体地说是一种实用性强、SAAS模式的系统中海量数据变更日志的采集方法。

背景技术

随着互联网技术的发展和应用软件的成熟， 企业管理软件厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用。这种应用模式称之为SaaS（Software-as-a-Service，软件即服务）。目前，尤其是对于许多小型企业来说，SaaS模式是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用系统的繁琐，可有效降低采购及运营成本和风险。

在企业管理软件系统的应用过程中，其交易数据和部分主数据，在业务处理过程中会频繁的发生数据状态的变化。企业客户希望系统能够自动的记录这些数据变化情况，在需要时可以方便的查看到特定数据的变化情况（人、时间、操作、数据变化）；此外，这也通常是一种行业业务审计要求（例如医药GSP行业规定）。最后，基于数据变化情况，可做针对性的统计、分析，对系统数据的变化规律性有更深刻和清晰的认识，反过来用于企业及应用系统的改进、优化。

而企业管理软件系统中需要记录数据状态变更的数据种类繁多，分布广。为了提高开发及维护效率，系统通常会提供可复用的实现机制和框架，尽量减少具体的业务为了实现业务变更日志带来较多的开发及维护的开销。

在SaaS的应用模式下，由于众多的客户应用系统是集中部署的，会造成这种数据状态变更记录并发集中且会产生海量的数据存储，如何能够高效、可靠、低消耗的采集变更数据，是一个很有价值的问题。基于此，现提供一种SAAS模式的系统中海量数据变更日志的采集方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、SAAS模式的系统中海量数据变更日志的采集方法。

一种SAAS模式的系统中海量数据变更日志的采集方法，其具体实现过程为：

定义变更数据的实体步骤，该变更数据的实体结构包含以下实体：变更主体、行为、变更数据环境信息、变更数据详细信息，该步骤中的实体均支持属性的扩展，并且支持按变更主体实体中的租户标识，提供不同的属性扩展设置；

定义变更数据采集的步骤，即定义变更数据采集的应用拓扑，该拓扑的架构包括一个数据采集客户机、服务器，该数据采集客户机的客户端部署到需要记录数据变更的各个服务器节点上，数据采集的服务器提供数据采集数据的接收和持久化存储。

变更主体实体包含以下信息：租户标识、执行者标识；行为实体包括：功能标识、操作标识；变更数据环境信息包括：客户端信息、服务器信息、变更时间、说明信息；变更数据详细信息包括：变更数据分类标识、变更数据标识、变更数据内容集合。

所述变更数据内容集合包含一条或多条变更数据内容记录，该变更数据内容记录包括：实体标识、变更数据标识、属性标识、动作、原值、新值；上述动作内置三个枚举值：C、U、D，分别表示创建、更新、删除三个动作。

所述数据采集客户机和服务器之间采用异步消息通信机制进行通信。

所述数据采集客户机中包含三个模块：数据采集服务接口模块、数据缓存模块、数据发送模块，其中数据采集服务接口模块提供外部应用程序调用；数据缓存模块，提供数据变更数据的客户机缓存功能，当外部数据变更数据输入时，可快速的将输入的变更数据信息写入到本地缓存中；数据发送模块，负责定时扫描数据缓存模块中缓存的变更数据，批量的发送给服务器。

本发明的一种SAAS模式的系统中海量数据变更日志的采集方法，具有以下优点：

本发明提出的一种SAAS模式的系统中海量数据变更日志的采集方法，提供了一种通用的变更数据记录标准，并提供了良好的扩展性；通过在数据采集客户机建立记录、发送分离的机制，可保证数据采集的可靠性、性能，并有效的降低数据采集服务器的并发压力，实用性强，易于推广。

附图说明

附图1是本发明的变更数据的实体结构图。

附图2是本发明的变更数据采集架构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明公开了一种SAAS模式的系统中海量数据变更日志的采集方法，如附图1、图2所示，其具体实现过程包括：