[发明专利]一种实时高效的用户数据处理方法及系统

说明书

本发明公开了一种实时高效的用户数据处理方法，包括：系统上线时，将线上数据库的全量数据同步到本地数据库；定时将线上数据库的增量数据写入本地的json文件中；定时从json文件中读取这段时间间隔内的增量数据，并写入本地数据库。还公开一种实时高效的用户数据处理系统，包括线上数据库、同步增量数据模块、clickhouse和本地数据库。本发明通过json文件解耦线上数据库与本地数据库，提高了读取线上数据库的容错能力，同时通过clickhouse提高了写入本地数据库的容错能力，保证了系统的高效性，通过定时任务保证了实时性，且操作对线上运行的数据库不会产生影响。

技术领域

本发明涉及互联网应用后台管理技术领域，具体的说，是一种实时高效的用户数据处理方法及系统。

背景技术

随着互联网的快速发展，各行各业都开始了“互联网+”的模式，建立了自己的企业平台网站；大部分企业网站都开放了用户注册功能，用户注册后，就成为了该企业的可运营用户，通过用户运营，可以为企业带来效益。因此各个平台为了吸引用户、提高用户在本平台的留存率和转换率，以及为第三方导流等目的，都会在网站平台上设计一些和公司业务相关的用户运营机制，比如常见的积分、经验机制，平台用户可以做任务获得积分，用积分兑换奖品、参与抽奖活动等，以此提高用户对该企业的粘性。但是现有技术中的用户数据非常庞大，且在线上数据库进行读写操作，数据处理比较慢。

发明内容

本发明的目的在于提供一种实时高效的用户数据处理方法及系统，用于解决现有技术中用户数据非常庞大，且在线上数据库进行读写操作，数据处理比较慢并且可能会影响线上业务的问题。

本发明通过下述技术方案解决上述问题：

一种实时高效的用户数据处理方法，包括：

步骤S100：用户数据处理系统上线时，将线上数据库的全量数据同步到本地数据库；

步骤S200：定时将线上数据库的增量数据写入本地的json文件中；

步骤S300：定时从json文件中读取这段时间间隔内的增量数据，并写入本地数据库，同时将所述增量数据写入clickhouse数据库中。

clickhouse是一种列式数据库，与线上和本地使用的MySQL数据库不同，它的查询速度非常快，存储数据量也非常大，面对数十亿条数据的查询，都能以秒级别返回查询结果，使用clickhouse体现了系统的高效性。但clickhouse不支持修改数据，所以用来存储用户的日志信息非常合适，因为日志信息是不需要修改的增量数据，把已经写入到json文件的增量数据同时再存一份到clickhouse中是为了应对向本地数据库中写入增量数据出错的情况(例如停电之类的情况)，等故障恢复后可直接用clickhouse中的增量数据与json文件中的增量数据作对比，就可以知道在断电之前，json文件中已经被写入本地数据库的数据有哪些，从而知道应该从json文件的哪个地方开始继续将增量数据写到本地数据库；

因为线上数据库的增量数据已经被同步到了本地json文件中，所以即使出现断电等情况，等恢复以后，可以通过json文件中最新的日志数据的时间和线上数据库的增量数据的时间作对比，从而知道下次从线上数据库同步到本地json的时候，该从线上的哪一条增量数据开始同步。这种做法保证了系统的容错性。每隔设定时间同步一次，体现了实时性。

进一步地，还包括步骤S400：从本地数据库中调取数据，创建业务分类表，并按照设定的时间间隔更新业务分类表，统计该时间间隔内不同业务维度的总量数据。

进一步地，还包括根据所述业务分类表和本地数据库表创建常用业务的用户数据表。

一种实时高效的用户数据处理系统，包括线上数据库、同步增量数据模块、clickhouse和本地数据库，其中：

线上数据库，用于数据存储以及与各业务系统进行数据交互；