[发明专利]面向流式数据的分布式自动处理方法及系统

说明书

本发明揭示了一种面向流式数据的分布式自动处理方法及系统，所述方法包括：获取若干异构数据源中的流式数据；将流式数据分发并存储至数据平台中的数据库中；基于不同的应用场景，提供标准化的数据视图给不同的业务。本发明提出的面向流式数据的分布式自动处理方法及系统，通过聚合和治理跨域的异构数据源，将数据抽象封装成服务，提供给前端以业务价值的逻辑概念，具有水平易扩展性。

技术领域

本发明属于数据处理技术领域，具体涉及一种面向流式数据的分布式自动处理方法及系统。

背景技术

流式数据是指由若干不同的数据源持续生成的数据，随着传感器网络、航空航天、气象测控等应用领域的迅速扩展、IOT用例的高速增长、以及传统领域对用户行为数据的持续深入挖掘，流式数据正从大量异构的数据源高速地流入数据存储。

传统的数据处理大致经历了以下几个阶段：

1.数据库阶段，主要是OLTP(联机事务处理)的需求。这一阶段数据来源大部分是传统的结构化数据，数据量也并不大，简单的DB就能满足需求，场景上强调高并发，单条数据简单提取和展示(增删查改)。

2.数据仓库阶段，OLAP(联机分析处理)成为主要需求。这一场景对并发的要求不高，但需要打通不同的异构数据库，如结构化数据和以日志形式沉淀的半结构化/非结构化的行为数据，并且能够进行批量的数据处理，也就是通常说的低并发，大批量(批处理)、面向分析(query+计算，用于制作报表)。针对分析需求，就诞生了数据仓库(DW，DataWarehouse)，以解决大量数据的存储和计算需求。数据库也在这一阶段从传统的单点集中式架构转向分布式。

3.数据平台阶段，原来的技术架构越来越不能支持海量技术处理。数据量呈指数级增长，随着IOT(物联网)的发展，带动了视图声(视频、图像、声音)数据的增长，未来90％的数据可能都来自于视图声的非结构化数据，这些数据需要视觉计算技术、图像解析的引擎+视频解析的引擎+音频解析的引擎来转换成结构化数据。5G技术的发展，可能会进一步放大视图声数据的重要性。

上层的业务场景依托底层提供的数据服务基础能力，一方面希望用到数据服务基本的增删查改仓储能力，另一方面希望数据能为业务赋能，通过数据来改善业务，以至于拓宽业务场景的边界。同时，越来越多传统的业务场景也希望转变到数据驱动的轨道上，由此，日益增长的数据存储和仍然稀缺的数据应用就成为了企业的主要矛盾之一。

同时，由于企事业部门之间的系统分散开发或者些单位系统重建或引进系统开发项目，以及数据本身的异构不同源性质，导致很多单位内部之间的信息不能共享，产生数据与信息孤岛；或者没有统一的数据规范和标准，造成数据整合的不便。数据还仅仅停留在散乱的资源阶段，离数据“变现”，形成数据资产的理想阶段，还相距甚远。企业内部为各团队的重复建设付出了无谓的技术成本，并难以对前台跨团队/跨数据仓库的业务需求提供敏捷快速的支撑。

在数据开发中，核心数据模型的变化是相对缓慢的，同时，对数据进行维护的工作量也非常大；但业务创新的速度、对数据提出的需求的变化，是非常快速的。

传统的数据处理面临以下的三类问题：

效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能实时获得用户推荐清单？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间；

协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍；

能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。

在数据存储的选型上，传统集中式/单一性的数据库架构已经无法支撑现代的海量数据处理和存储，存储和计算成本高，传统的纵向扩展能力面临单机性能的瓶颈，单点故障的风险大。