[发明专利]一种数据处理方法及装置

摘要

本公开涉及一种数据处理方法及装置。该方法包括：当前过滤器处理单元接收上游过滤器处理单元发送的增量数据以及控制信号，控制信号包括增量数据对应的起始时间；当前过滤器处理单元判断是否需要构建窗口数据；如果需要构建窗口数据，则根据预设窗口大小以及起始时间，从本地缓存中读取历史窗口数据；当前过滤器处理单元根据增量数据对应的时间步长，清理历史窗口数据中时间最久的数据，得到历史窗口数据中的保留数据；当前过滤器处理单元基于保留数据以及增量数据，构建新的窗口数据，并利用新的窗口数据替换本地缓存中的历史窗口数据，新的窗口数据的窗口大小与预设窗口大小相同。如此方案，可使增量查询方案能够更好的适用于管道‑过滤器模式。

主权项

一种数据处理方法，其特征在于，包括：当前过滤器处理单元接收上游过滤器处理单元发送的增量数据以及控制信号，所述控制信号包括所述增量数据对应的起始时间；所述当前过滤器处理单元判断是否需要构建窗口数据；如果需要构建窗口数据，所述当前过滤器处理单元根据预设窗口大小以及所述起始时间，从本地缓存中读取历史窗口数据；所述当前过滤器处理单元根据所述增量数据对应的时间步长，清理所述历史窗口数据中时间最久的数据，得到所述历史窗口数据中的保留数据；所述当前过滤器处理单元基于所述保留数据以及所述增量数据，构建新的窗口数据，并利用所述新的窗口数据替换所述本地缓存中的历史窗口数据，所述新的窗口数据的窗口大小与所述预设窗口大小相同。