[发明专利]一种基于流式数据的复杂图表在线计算系统与方法

说明书

本申请公开了一种基于流式数据的复杂图表在线计算系统与方法。所述系统包括：采集模块、图表计算模块、图表输出模块。所示方法包括：通过kafka接收数据并且实时进行更新，将所述接收数据分发到所述图表计算模块；经过图表插件计算，将所述接收数据计算为中间层数据以及图表数据；当用户进行请求查看图表数据时，根据用户需要经过输出插件计算，生成不同的数据组织形式，显示给用户。本申请通过对中间层数据和图表数据的逐级处理，是最终的图表查询只需针对很少的数据进行计算，提高图表系统的响应速度。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于流式数据的复杂图表在线计算系统与方法。

背景技术

目前，在医院内数据处理的数据场景下，会不断的有患者数据进入到专病库中，需要针对数据从不同维度进行准实时的数据统计，然后通过图表方式呈现给用户。

由于累积的患者数据会越来越大，图表的统计处理速度会越来越慢。一方面图表的响应时间越来越慢，导致系统可用性减低。另外一方面，通过定时的脚本处理数据，会导致数据的有效性会有延后，无法实时了解系统的当前数据状态。

针对相关技术中图表响应慢以及有效性延时的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于流式数据的复杂图表在线计算系统与方法，以解决相关技术中图表响应慢以及有效性延时的问题。

为了实现上述目的，第一方面，本申请提供了一种基于流式数据的复杂图表在线计算系统。

其中，系统包括：采集模块、图表计算模块、图表输出模块；

所述采集模块、图表计算模块、图表输出模块依次顺序连接；

所述采集模块，通过kafka接收数据并且实时进行更新，将所述接收数据分发到所述图表计算模块；

所述图表计算模块，经过图表插件计算，将所述接收数据计算为中间层数据以及图表数据；

所述图表输出模块，当用户进行请求查看图表数据时，根据用户需要经过输出插件计算，生成不同的数据组织形式，显示给用户。

所述图表插件计算包括：第一插件计算与第二插件计算；

所述第一插件计算包括选择需要的数据维度，将所述接收数据经过计算，并将计算结果以及计算逻辑存储在中间层文件中；

所述第二插件计算包括根据中间层文件中的计算结果以及计算逻辑，将所述接收数据生成图表数据，保存在数据库中。

所述计算逻辑包括以下一种或几种情况的组合：基本算数运算、取若干个数据的最大值、取若干个数据的首次数据、取若干个数据的均值。

所述输出插件计算包括根据用户对图组织形式的要求，对所述图表数据进行加工计算，生成用户需要的组织形式图表。

所述加工计算包括：分组数据统计、均值统计、百分比统计、累加数统计、区间范围统计。

所述组织形式包括：折线图、条形图、饼图、散点图、地图、仪表盘、面板、环形图。

所述第一插件计算还包括通过shell命令执行awk脚本根据患者编号，进行数据内容的去重，保证只有一条最新的数据。

第二方面，本申请还提供了一种基于流式数据的复杂图表在线计算方法，采用所述的基于流式数据的复杂图表在线计算系统实现，包括如下步骤：

通过kafka接收数据并且实时进行更新，将所述接收数据分发到所述图表计算模块；

经过图表插件计算，将所述接收数据计算为中间层数据以及图表数据；