[发明专利]一种基于Clickhouse的数据分析方法、装置及系统

说明书

本发明公开了一种基于Clickhouse的数据分析方法、装置及系统，属于数据分析领域；根据数据集的选择和操作选择得到包含节点边关系列表和节点列表的Data数据，采用ClickHouse核心解析器基于Data数据中的节点边关系列表和节点列表进行节点关系解析，得到有向无环图；之后对有向无环图进行SQL组装得到目标SQL；最后自动执行目标SQL得到目标数据。选择ClickHouse作为底层(OLAP)进行开展数据分析服务时，数据吞吐能力大，根据Data数据中的节点边关系列表和节点列表得到有向无环图，然后将有向无环图自动生成ClickHouse可执行的目标SQL，无需数据分析人员进行编写SQL；大大降低了对业务分析人员的要求，数据分析使用成本低，仅需要用户选择数据集以及选择数据集的操作即可，分析方式简单。

技术领域

本发明涉及数据分析领域，特别地，涉及一种基于Clickhouse的数据分析方法、装置及系统。

背景技术

在大数据分析领域中，传统的大数据分析需要不同框架和技术组合才能达到最终的效果，在人力成本，技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。

因为在一些其他系统中也可以将不同的列分别进行存储，但由于对其他场景进行的优化，使其无法有效的处理分析查询。例如：HBase，BigTable，Cassandra，HyperTable。在这些系统中，可以得到每秒数十万的吞吐能力，但是在一些情况下，用户需要每秒几亿行的吞吐能力，因此现有的数据分析速度无法满足用户需求。此外，数据分析主要针对于业务分析人员，现有数据分析需要业务分析人员手动编写SQL语句，由于编写复杂性较高，所以对业务分析人员要求较高，故造成现有数据分析使用成本高，分析方式复杂。

发明内容

为了克服现有技术的不足，本发明提供一种基于Clickhouse的数据分析方法、装置及系统，以解决现有数据分析速度无法满足用户需求，以及对业务分析人员要求较高，故造成现有数据分析使用成本高，分析方式复杂的问题。

本发明解决其技术问题所采用的技术方案是：

第一方面，提供一种基于Clickhouse的数据分析方法，包括以下步骤：

接收用户对数据集的选择以及对所述数据集的操作选择，以得到Data数据，所述Data数据包含节点边关系列表和节点列表；

采用ClickHouse核心解析器基于所述Data数据中的节点边关系列表和节点列表进行节点关系解析，得到有向无环图；

结合ClickHouse SQL规范以及函数对所述有向无环图进行SQL组装得到目标SQL；

执行所述目标SQL得到用于数据分析的目标数据。

进一步地，所述接收用户对数据集的选择以及对所述数据集的操作选择，以得到Data数据，包括：

将所述操作以及所述操作对应的数据集作为节点得到节点列表；

在任意两个关联操作对应的两个节点之间设置边，得到节点边关系列表；

将所述节点列表和所述节点关系列表作为所述Data数据。

进一步地，所述采用ClickHouse核心解析器基于所述Data数据中的节点边关系列表和节点列表进行节点关系解析，得到有向无环图，包括：

根据节点边关系列表和节点列表获取各节点的先后顺序；

将存在边的节点按照先后顺序依次连接得到有向无环图。

进一步地，所述结合ClickHouse SQL规范以及函数对所述有向无环图进行SQL组装得到目标SQL，包括：