[发明专利]一种实时ETL数据流转换处理技术方法与系统

摘要

本发明涉及数据处理技术领域，尤其是一种实时ETL数据流转换处理技术方法与系统，包括处理方法的各个步骤，提供一种拓扑图配置，内部转化器转成类SQL，配置灵活；并且在网络中断，机器宕机的情况下依旧可以工作，保障数据转换的稳定性；同时内部处理模块提供一种动态配置的转换的方式，有效的解决了现有在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题。

主权项

一种实时ETL数据流转换处理技术方法，其特征在于：包括如下具体步骤：1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；2)把上述的标准数据Avro序列化放入到kafka消息队列；3)Jstorm的kafka Spout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；4)利用内部计算引擎的实时统计做统计计算；5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。