[发明专利]流式实时处理线上生产数据的装置和方法

摘要

本发明公开了一种流式实时处理线上生产数据的装置和方法。在本发明中，基于流式处理方式实时读取的多个数据源的线上生产数据可以转存为键值对格式的单数据源分表，并且，各数据源的键值对格式的单数据源分表可以周期性地合并为多数据源宽表以实现多数据源的整合，从而，能够以可观的消费效率、并在保证数据完整性的前提下实现多数据源的整合，从而，本发明能够以可观的消费效率、并在保证数据完整性的前提下实现低开发成本的多数据源整合，以满足对数据实时性的需求。而且，多数据源宽表即可以提供给分布式文件系统以实现相对简单的数据核对，还可以反馈给分布式发布订阅消息系统用于下游业务使用。