[发明专利]业务数据处理方法、展示方法、装置、电子设备及介质

说明书

本发明实施例提供了一种业务数据处理方法、业务数据展示方法、装置、电子设备及存储介质，所述处理方法包括：实时获取业务数据；将所述业务数据存储到对应的消息队列中；按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；将对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于第一中间存储容器在接收到在线业务系统或第三方业务系统访问数据值的请求时，第一中间存储容器根据所述数据特征值计算对应时间窗内的数据值，并将数据值反馈给在线业务系统或第三方业务系统。从而为线上业务系统或第三方业务系统提供高效的访问支持，提高了在线业务系统或第三方业务系统的实时计算准确率。

技术领域

本发明涉及网络技术领域，特别是涉及一种业务数据处理方法、业务数据展示方法、装置、电子设备和存储介质。

背景技术

现有技术中，通常使用Spark Streaming、Flink、Storm等开源实时计算框架组件进行实时指标计算。这些开源框架的大体思路都是实时监听消息队列数据，按照固定的滑动步长计算单位时间窗口内的数据。特别是对利用爬虫获取网站大量信息的用户需要进行拦截，针对目前的网站业务场景，通常需要实时采集用户行为数据，并实时计算用户浏览页面的数量，当发现同一个用户在某个时间段内访问页面数量大于一定阈值(比如500页等)时需要及时对其拦截。

下面以使用Spark Streaming实时计算为例来说明。假如时间窗口是1小时，用户访问网页数量最大阈值为500页，滑动步长是15分钟，那么Saprk Streaming将会每隔15分钟计算1次最近1小时的值，如果当前用户在10:00时浏览页面数量是499页，因此10：00这个时间点会显示无任何异常，当时间点到达10:10时浏览网页数量达到600页，那么当前系统只存储了10:00的值，10:15是下一个计算时间点，也就是说，此时，虽然该用户浏览网页的数量已经达到了最大阈值，但是还没有达到下一个时间窗口的计算点，所有，系统就不会做出响应的处理，即不会对该用户进行拦截。

所以，相关技术中，对于用户浏览的网页数量，由于计算时间和事件时间不匹配，导致数据量计算上出现误差，从而降低了实时数据计算量的准确性。

发明内容

本发明实施例所要解决的技术问题是提供一种业务数据处理方法和业务数据展示方法，以解决现有技术中由于计算时间和事件时间不匹配，数据计算量上出现误差，导致实时数据计算量的不准确的技术问题。

相应的，本发明实施例还提供了一种业务数据处理装置和业务数据展示装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明是通过如下技术方案实现的：

第一方面提供一种业务数据处理方法，包括：

实时获取业务数据；

将所述业务数据存储到对应的消息队列中；

按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值；

将对应时间内的所述数据特征值发送到第一中间存储容器进行存储，以便于所述第一中间存储容器在接收到在线业务系统或第三方业务系统访问数据值的请求时，所述第一中间存储容器根据所述数据特征值计算对应时间窗内的数据值，并将所述数据值反馈给所述在线业务系统或第三方业务系统。

可选的，所述按照时间维度对每个所述消息队列中业务数据进行数据处理，得到对应时间内的数据特征值之后，所述方法还包括：

将对应时间内的所述数据特征值进行累加计算和/或去重计算；

将所述累加计算和/或去重计算的结果发送给第二中间存储容器进行存储，以便于所述第二中间存储容器在接收到在线业务系统访问数据值的请求时，根据所述累加计算和/或去重计算的结果计算对应时间窗内的数据值，并将所述数据值反馈给所述在线业务系统或第三方业务系统。