[发明专利]一种多源异构数据的处理方法及装置

摘要

本发明公开了一种多源异构数据的处理方法及装置，该方法包括：数据处理任务定时从缓存中获取数据处理方法，其中，数据处理方法根据数据处理模板以及实时获取到的参数生成；判断从缓存中获取到的数据处理方法与数据处理任务对应的当前数据处理方法是否一致，若不一致，则将从缓存获取到的数据处理方法作为当前数据处理方法；使用当前数据处理方法对待处理数据进行处理，获取目标格式的数据。本发明通过模板化的数据处理规则配置，对来自不同数据源的异构数据进行统一的格式转换过滤，按配置模板输出标准数据，让多源异构实时流数据清洗可动态配置，业务无中断，无需硬编码，快速响应业务需求的变化。