[发明专利]实时计算的方法以及实时计算系统

说明书

本申请提供了一种实时计算的方法以及实时计算系统，实时计算的方法由实时计算系统执行，实时计算系统包括内存数据库、实时计算引擎以及存储数据库，方法包括：内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至实时计算引擎中；实时计算引擎根据数据源的结构信息、数据的加工逻辑以及数据的输出规则，生成实时计算任务，并运行实时计算任务得到计算结果，且将计算结果发送至存储数据库；存储数据库接收客户端发送的查询信息，并依据查询信息以及计算结果得到查询结果，查询信息包括查询请求和主键信息；存储数据库将查询结果发送至客户端。该方法无需重新再编程，满足数据的实时处理运算。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种实时计算的方法以及实时计算系统。

背景技术

实时计算是针对海量的，并且是指实时不间断产生的数据，同时满足应用针对数据进行秒级处理需求的一种数据处理框架。实时计算的特性是数据实时产生、数据实时传输、数据实时计算、实时展示等。从技术领域来看，实时计算的应用场景主要有，实时ETL和数据流、实时数据分析、时间驱动应用三大块。目前业界的代表有Flink/Spark。

以目前的Flink实时计算引擎举例来说，必不可少的需要通过程序编程，同时需要定义数据源(source)，数据加工过程(transformation)，数据落地(sink)三个数据流向过程。针对不同的实时任务都需要定制化开发，后续的实时任务开发复用前一个实时任务的可能性基本上为无。该过程针对普通技术人员，需要进行繁琐的代码编程与开发工作，效率较低，增加开发成本与后期的维护成本；同时针对业务人员，则需完全依赖技术人员才能实现业务数据的处理，成本较高。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种实时计算的方法以及实时计算系统，以解决现有技术中不同的实时计算任务需要重新开发，导致效率较低且成本较高的问题。

根据本发明实施例的一个方面，提供了一种实时计算的方法，所述方法由实时计算系统执行，所述实时计算系统包括内存数据库、实时计算引擎以及存储数据库，所述方法包括：所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中；所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务，并运行所述实时计算任务得到计算结果，且将所述计算结果发送至所述存储数据库；所述存储数据库接收客户端发送的查询信息，并依据所述查询信息以及所述计算结果得到查询结果，所述查询信息包括查询请求和主键信息；所述存储数据库将所述查询结果发送至所述客户端。

可选地，所述数据源的结构信息中的字段名称、所述数据的加工逻辑中的字段名称以及所述数据的输出规则中的字段名称相同。

可选地，所述数据的输出规则包括输出表的结构。

可选地，在所述内存数据库获取定义好的数据源的结构信息、数据的加工逻辑以及数据的输出规则，并发送至所述实时计算引擎中之后，在所述实时计算引擎根据所述数据源的结构信息、所述数据的加工逻辑以及所述数据的输出规则，生成实时计算任务之前，所述方法还包括：获取数据源；根据所述数据源的结构信息对所述数据源的数据结构进行校验。

可选地，所述存储数据库为NoSQL型Hbase数据库。

可选地，所述主键信息包括联合主键信息。

可选地，所述数据的加工逻辑包括数据的过滤筛选条件。