[发明专利]一种数据同步的控制方法、系统及装置

说明书

本发明公开了一种数据同步的控制方法、系统及装置，其中，系统包括数据业务层、卡夫卡层和数据库，所述数据业务层通过卡夫卡层与数据库连接；所述数据业务层用于获取并运算货币交易数据，并将货币交易数据传输至卡夫卡层；所述卡夫卡层用于采用消息队列方式接收并分析货币交易数据后，将分析后的货币交易数据传输至数据库；所述数据库用于将接收到的货币交易数据存储接收到相应的MongoDB模块中。本发明通过卡夫卡的消息队列方式对货币交易数据进行分析，再将分析的数据结构存储到数据库，而无需在数据库中进行数据分析，极大地减少了数据的运算压力，提高了数据库的安全稳定性，可广泛应用于数据处理领域。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据同步的控制方法、系统及装置。

背景技术

随着网络技术的迅速发展，催生了许多游戏软件，许多游戏软件中需要用虚拟货币，而虚拟货币的流通，对于游戏软件来说，就如同人体的血液流通。虚拟货币每天都会产生大量的交易数据，系统需要实时获取这些交易数据进行分析，现在的技术是，通过业务层直接与数据库直接连接，大量的交易数据直接在数据库内写入和读取，由于这种频繁的并发读写操作，极大地增加了数据库的压力，会影响数据库的正常运行，产生巨大的损失。

名词解释：

消息队列：是在消息的传输过程中保存消息的容器。

卡夫卡：即Kafak，是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

MongoDB模块：分布式文档存储数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB模块是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。

发明内容

为了解决上述技术问题，本发明的第一目的是提供一种减轻数据库运算压力的数据同步的控制系统。

本发明的第二目的是提供一种减轻数据库运算压力的数据同步的控制方法。

本发明的第三目的是提供一种减轻数据库运算压力的数据同步的控制装置。

本发明所采用的第一技术方案是：

一种数据同步的控制系统，包括数据业务层、卡夫卡层和数据库，所述数据业务层通过卡夫卡层与数据库连接；

所述数据业务层用于获取并运算货币交易数据，并将货币交易数据传输至卡夫卡层；

所述卡夫卡层用于采用消息队列方式接收并分析货币交易数据后，将分析后的货币交易数据传输至数据库；

所述数据库用于将接收到的货币交易数据存储接收到相应的MongoDB模块中。

进一步，所述卡夫卡层包括Java服务模块，所述Java服务模块用于在接收到货币交易数据后，根据货币交易数据的类型将货币交易数据存储在预设的数据组中，并将数据组中的货币交易数据映射存储至相应类型的MongoDB模块中。

进一步，所述数据组包括同步数据组和异步数据组。

进一步，所述夫卡层还包括数据分析模块，所述数据分析模块用于从异步数据组中获取各类型的货币交易数据，并对货币交易数据进行分析后，将分析结果存储至相应的MongoDB模块中。

进一步，所述数据业务层包括主节点模块和备份节点模块；

所述主节点模块用于对货币交易数据进行运算处理；

所述备份节点模块用于实时备份主节点模块的运算节点，并在判断主节点模块出现故障时，替换主节点模块对货币交易数据进行运算处理。

本发明所采用的第二技术方案是：