[发明专利]用于处理数据的方法和装置

摘要

本申请实施例公开了用于处理数据的方法和装置。该方法的一具体实施方式包括：从流式计算系统中数据流流至的目标数据处理节点的上游数据处理节点获取待处理数据和与待处理数据对应的数据处理日志；查询与上游节点算子标识和上游节点标识二者对应的已处理数据最大序号；响应于确定上游节点当前数据序号大于所确定的已处理数据最大序号，对待处理数据进行处理，得到结果数据，将目标数据处理节点的当前数据序号递增预设增量数目；最后，将结果数据、数据处理日志和目标数据处理节点的当前数据序号对应持久化存储。该实施方式降低了数据处理节点的数据去重操作所需的存储空间。