[发明专利]一种数据处理方法、系统及计算设备

说明书

本发明公开了一种数据处理方法，包括：将一个或多个业务模块中的数据基于相应的数据表抽取到数据采集设备；在消息服务器中创建与每个数据表相对应的消息主题；实时获取每个数据表中的变更数据，将每个数据表中的变更数据封装为消息体，并将消息体基于相应的消息主题发送至消息服务器；从消息服务器中获取每个消息主题对应的一个或多个消息体，并将消息体处理为相应的变更数据存储到数据存储设备，以便更新数据存储设备中的数据；将数据存储设备中的变更数据发送至相应的业务模块对应的业务资源服务器。本发明一并公开了相应的数据处理系统和计算设备。根据本发明的技术方案，能实现各个业务模块的数据整合，并能保证数据的实时性和一致性。

技术领域

本发明涉及计算机及互联网技术领域，尤其涉及一种数据处理方法、数据处理系统及计算设备。

背景技术

目前，随着企业业务线的扩张与多元化发展，在积极推进业务数据化的同时，各个垂直业务也快速发展，从而形成了多个垂直的数据中心。因此，需要打通各个数据中心，将数据整合并提供统一的服务，形成统一的全业务线数据体系。

现有技术中，数据整合的实现方式可分为两种，一种是采用侵入式的接口调用方法，提供中心库数据整合接口，由业务方调接口写入。这种方案，由于整合各个业务线数据需要相关部门主动调接口推送，增加了沟通成本与实现成本，而且，这种方案避免不了会存在延时问题。

另一种是非侵入式的解析binlog的方法，解析业务库的实时binlog，统一采集。采用这种方案，在首次整合全量数据时，需要定时进行任务处理或者触发全量数据binlog，消耗时间过长，而且，存在业务库与中心库之间数据不一致的问题。

为此，需要一种数据处理方法及系统，来解决上述技术方案中存在的问题。

发明内容

为此，本发明提供一种数据处理方法、系统及计算设备，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据处理方法，在数据处理服务器中执行，包括步骤：将一个或多个业务模块中的数据基于相应的数据表抽取到数据采集设备；在消息服务器中创建与每个数据表相对应的消息主题；实时获取每个数据表中的变更数据，将每个数据表中的变更数据封装为消息体，并将消息体基于相应的消息主题发送至消息服务器；从所述消息服务器中获取每个消息主题对应的一个或多个消息体，并将消息体处理为相应的变更数据存储到数据存储设备，以便更新数据存储设备中的数据；以及将所述数据存储设备中的变更数据发送至相应的业务模块对应的业务资源服务器。

可选地，在根据本发明的数据处理方法中，还包括步骤：将所述数据存储设备中的变更数据发送至资源服务器，以便基于搜索引擎搜索所述资源服务器中的变更数据。

可选地，在根据本发明的数据处理方法中，还包括步骤：将资源服务器中的变更数据实时发送至搜索引擎，以便搜索引擎基于变更数据生成相应的索引。

可选地，在根据本发明的数据处理方法中，还包括步骤：每隔预定时间比对所述数据存储设备与数据采集设备中的数据，确定数据存储设备中是否存在遗漏数据；如果存在遗漏数据，则基于遗漏数据生成补偿任务，并通过执行补偿任务将所述遗漏数据重新存储到所述数据存储设备。

可选地，在根据本发明的数据处理方法中，将消息体处理为相应的变更数据存储到数据存储设备的步骤包括：对消息体进行解析，以获取消息体对应的数据表中的变更数据和相应的业务模块标识；将所述变更数据与业务模块标相关联地存储到数据存储设备。

可选地，在根据本发明的数据处理方法中，将数据存储设备中的变更数据发送至相应的业务模块对应的业务资源服务器的步骤包括：将数据存储设备中的变更数据基于相关联的业务模块标识发送至相应的消息队列，以便基于消息队列将变更数据发送至相应的业务模块对应的业务资源服务器。