[发明专利]一种数据分析方法、系统、终端及存储介质

权利要求书

1.一种数据分析方法，其特征在于，包括：

获取目标对象的行为数据，并按照预设规则将所述行为数据存储至ClickHouse集群；

获取数据分析任务信息，并根据所述数据分析任务信息，对所述ClickHouse集群的各节点进行任务调度，以使所述各节点的负载均衡；

根据任务调度安排，对所述各节点的行为数据进行分析，生成数据分析产品。

2.如权利要求1所述的分析方法，其特征在于，按照预设规则将所述行为数据存储至ClickHouse集群，包括：

根据所述目标对象的身份标识号，对所述行为数据进行哈希分片，将各目标对象的行为数据写入所述ClickHouse集群的对应节点；

按照预设存储模式，对所述各目标对象的行为数据进行存储。

3.如权利要求2所述的分析方法，其特征在于，所述按照预设存储模式，对所述各目标对象的行为数据进行存储的步骤，包括：

将所述各目标对象的行为数据按照三级索引顺序进行预排序；

其中，一级索引为所述行为数据的事件号；二级索引为所述行为数据所属的目标对象的身份标识号；三级索引为所述行为数据的日志时间。

4.如权利要求1所述的分析方法，其特征在于，所述数据分析任务信息包括数据分析任务的任务类型；其中，所述任务类型包括事件统计、画像分析、漏斗分析、行为路径分析、表结构变更、清理过期数据中的至少一项。

5.如权利要求1所述的分析方法，其特征在于，对所述ClickHouse集群的各节点进行任务调度，包括以下至少一项：

根据任务执行优先级，按顺序执行不同类型的数据分析任务；

根据数据分析任务的任务类型，采取对应的负载均衡策略，其中，所述负载均衡策略包括随机、轮询、最小负载。

6.如权利要求5所述的分析方法，其特征在于，根据数据分析任务的任务类型，执行对应的负载均衡策略，包括：

若所述任务类型为事件统计和/或画像分析和/或漏斗分析和/或行为路径分析，则采取最小负载策略；

若所述任务类型为表结构变更，则采取随机策略；

若所述任务类型为清理过期数据，则采取轮询策略。

7.如权利要求1所述的分析方法，其特征在于，对所述ClickHouse集群的各节点进行任务调度，还包括：

获取数据分析任务的读取行数及执行时间；

在所述数据分析任务的读取行数超过最大读取行数，和/或所述数据分析任务的执行时间超过最大执行时间时，停止所述数据分析任务。

8.一种数据分析系统，其特征在于，所述分析系统包括数据写入模块、数据存储模块、任务调度模块、数据分析模块；

所述数据写入模块用于获取目标对象的行为数据，并按照第一预设规则将所述行为数据写入ClickHouse集群；

所述数据存储模块用于将写入所述ClickHouse集群的行为数据按照第二预设规则进行存储；

所述任务调度模块用于获取数据分析任务信息，并根据所述数据分析任务信息，对所述ClickHouse集群的各节点进行任务调度，以使所述各节点的负载均衡；

所述数据分析模块用于根据任务调度安排，对所述各节点的行为数据进行分析，生成数据分析产品。

9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述分析方法的步骤。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述分析方法的步骤。