[发明专利]一种基于Clickhouse频繁删改查优化的方法及系统

说明书

本发明公开了一种基于Clickhouse频繁删改查优化的方法及系统，涉及数据处理技术领域；该方法包括以下的步骤：S1、数据的同步，同步原始数据库中的实时操作日志数据解析存储到kafka集群和mongodb；S2、流水数据的消费，应用端Application分别同kafka集群、mongodb以及clickhouse集群相连，当应用端Application消费流水数据，应用端Application则先去查询mongodb的数据，如若查询不到，则再去查询clickhouse集群的数据；S3、对查询数据的操作；S4、增量数据的定时同步；本发明的有益效果是：能够支持快速实时插入和更新的操作，针对实时数据支持高并发查询。

技术领域

本发明涉及大数据处理技术领域，更具体的说，本发明涉及一种基于Clickhouse频繁删改查优化的方法及系统。

背景技术

目前大数据已经广泛应用在金融、电子商务、物流、企业政务等领域，最近这些年开始应用于产业互联网，在5G时代随着万物互联进程加速，海量数据的存储以及海量数据的实时查询以及OLAP分析带来了挑战。Clickhouse以其突出的查询以及写入性能正在广泛地应用于实时处理以及OLAP在线分析，有些系统可以单独存储单独列的值，但由于其他场景的优化，无法有效处理分析查询，例如HBase，BigTable，Cassandra和HyperTable。在这些系统中，每秒钟可以获得大约十万行的吞吐量，但是无法像Clickhouse那样每秒高达数亿行。

Clickhouse是Yandex.Metrica世界第二大Web分析平台而开发的。多年来一直作为该系统的核心组件被该系统持续使用着。目前为止，该系统在ClickHouse中有超过13万亿条记录，并且每天超过200多亿个事件被处理。它允许直接从原始数据中动态查询并生成报告。目前广泛运用在实时报表，在线实时分析，用户画像，智能推荐系统等场景。但是Clickhouse使用过程中也存在其固有的缺点，这其中面临一些需要解决的技术点：

1、不支持事务，不支持真正的删除/更新；

2、不支持高并发，官方建议qps为100，可以通过修改配置文件增加连接数，但是在服务器足够好的情况下；

3、不适合做实时插入或小批量的insert，update，delete操作，因为ClickHouse底层会不断的做异步的数据合并，会影响查询性能，这个在做实时数据写入的时候要尽量避开。

发明内容

为了克服现有技术的不足，本发明提供一种基于Clickhouse频繁删改查优化的方法及系统，能够支持快速实时插入和更新的操作，针对实时数据支持高并发查询。

本发明解决其技术问题所采用的技术方案是：一种基于Clickhouse频繁删改查优化的方法，其改进之处在于，该方法包括以下的步骤：

S1、数据的同步，同步原始数据库中的实时操作日志数据解析存储到kafka集群和mongodb；

S2、流水数据的消费，应用端Application分别同kafka集群、mongodb以及clickhouse集群相连，当应用端Application消费流水数据，应用端Application则先去查询mongodb的数据，如若查询不到，则再去查询clickhouse集群的数据；

S3、对查询数据的操作，当应用端Application在mongodb查询到数据后，更新该数据或者删除该数据，则直接操作mongodb；当应用端Application未在mongodb查询到数据，而在clickhouse集群查询到数据后，则将Application的查询记录回写到mongodb提供查询；

S4、增量数据的定时同步，mongodb与clickhouse集群相连接，mongodb定时同步增量数据至clickhouse集群。