[发明专利]一种大数据可视化场景下的数据处理的方法及系统

说明书

本发明提供了一种大数据可视化场景下的数据处理的方法及系统，包括：当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值时，提取缓存的第K‑1份统计值；根据第K‑1份统计值和所述第K份统计值，计算增量数组y_k[M]中的M个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；当接收到来自前端的数据展示请求时，从增量数组y_k[M]中取出数据展示请求对应的增量统计值；将增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。本发明通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。

技术领域

本发明涉及数据处理领域，尤指一种大数据可视化场景下的数据处理的方法及系统。

背景技术

在大数据可视化系统中，通常是先对原始数据进行统计处理，得到若干数据指标，待若干数据指标上报后，再将这些数据指标展现给客户。但是后端一些数据指标常常需要对原始数据做复杂的计算才能得到，这导致前端页面展示时，需要等较长的时间才能得到结果数据。对于需要快速展示的数据场景，等待这么长的时间，降低了用户的体验。

发明内容

本发明的目的是提供一种大数据可视化场景下的数据处理的方法及系统，通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。

本发明提供的技术方案如下：

一种大数据可视化场景下的数据处理的方法，包括：步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值x_k时，提取缓存的第K-1份统计值x_k-1；步骤S200根据所述第K-1份统计值x_k-1和所述第K份统计值x_k，计算增量数组y_k[M]中的M个元素的值；所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；步骤S300当接收到来自前端的数据展示请求时，从所述增量数组y_k[M]中取出所述数据展示请求对应的增量统计值；步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。

在上述技术方案中，通过将统计值延迟一个上报间隔再展示，解决了后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，满足了数据展示要求，提升了用户体验。

进一步，所述步骤S200具体包括：步骤S210根据第K-1份统计值x_k-1和第K份统计值x_k，计算两份统计值的差值ΔR；步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：

商quo＝ΔR/M，余数rem＝ΔR mod M

步骤S230根据所述商quo和余数rem，计算所述增量数组y_k[M]中的M个元素的值。

在上述技术方案中，根据前后两次的上报结果，得到总的增量统计值，再根据该总的增量统计值估算出每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值，从而将按统计值上报间隔上报的数据转换成按展示刷新间隔刷新的数据，从而满足数据展示要求，提升了用户体验。

进一步，所述步骤S230还包括：步骤S231当商quo等于0时，计算所述增量数组y_k[M]中的M个元素值的公式为：

y_k[i]＝quo，i＝0,…M-1。

在上述技术方案中，给出了一种估算每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值的方法，该方法简单易实施。