[发明专利]面向流式数据的分布式自动处理方法及系统

权利要求书

1.一种面向流式数据的分布式自动处理方法，其特征在于，所述方法包括：

获取若干异构数据源中的流式数据；

将流式数据分发并存储至数据平台中的数据库中；

基于不同的应用场景，提供标准化的数据视图给不同的业务。

2.根据权利要求1所述的面向流式数据的分布式自动处理方法，其特征在于，所述流式数据包括结构化数据、非结构化数据、半结构化数据中的一种或多种。

3.根据权利要求2所述的面向流式数据的分布式自动处理方法，其特征在于，所述结构化数据包括日常业务中CRM/ERP单条的结构化数据；非结构化数据包括以日志形式积累的用户行为的非结构化文本数据及带空域信息的雷达图片的非结构化图像数据；半结构化数据包括以日志形式积累的用户行为的半结构化文本数据。

4.根据权利要求1所述的面向流式数据的分布式自动处理方法，其特征在于，所述数据平台中的数据库包括分布式存储的MySQL Cluster数据库、newSQL型TiDB数据库、Neo4j图形数据库、HBase数据库、MongoDB数据库、OSS Storage数据库、Elastic Search搜索和分析引擎数据库中的一种或多种。

5.根据权利要求1所述的面向流式数据的分布式自动处理方法，其特征在于，获取若干异构数据源中的流式数据后还包括：

数据清洗，对流式数据的缺失进行预处理。

6.根据权利要求1所述的面向流式数据的分布式自动处理方法，其特征在于，所述方法还包括：

通过建立数据分发器组件，建立数据源和数据平台的数据通信。

7.根据权利要求6所述的面向流式数据的分布式自动处理方法，其特征在于，数据源和数据平台的数据通信为基于消息队列的订阅和广播机制的数据通信。

8.一种面向流式数据的分布式自动处理系统，其特征在于，所述系统包括数据源、数据平台及应用层，其中：

所述数据源包括若干异构数据源，用于存储提供流式数据；

所述数据平台包括若干分布式存储数据库，用于聚合和治理流式数据，并基于不同的应用场景，提供标准化的数据视图给不同的业务。

9.根据权利要求8所述的面向流式数据的分布式自动处理系统，其特征在于，所述流式数据包括结构化数据、非结构化数据、半结构化数据中的一种或多种；结构化数据包括日常业务中CRM/ERP单条的结构化数据；非结构化数据包括以日志形式积累的用户行为的非结构化文本数据及带空域信息的雷达图片的非结构化图像数据；半结构化数据包括以日志形式积累的用户行为的半结构化文本数据。

10.根据权利要求8所述的面向流式数据的分布式自动处理方法，其特征在于，所述数据平台中的数据库包括分布式存储的MySQL Cluster数据库、newSQL型TiDB数据库、Neo4j图形数据库、HBase数据库、MongoDB数据库、OSS Storage数据库、Elastic Search搜索和分析引擎数据库中的一种或多种。