[发明专利]基于CarbonData的增量数据收敛更新方法及其系统

说明书

本发明公开基于CarbonData的增量数据收敛更新方法及系统，方法其包括以下步骤：步骤1，将增量数据进行识别处理后落地至待做目录中，在元数据表新增一条记录；步骤2，新增记录后触发元数据表预设的触发器，触发器在数据增量更新收敛模块上新增一条调度任务；步骤3，数据增量更新收敛模块获取调度任务，并以触发型任务优先原则进行确定当前任务类型；步骤4，根据当前任务类型进行任务逻辑处理，将增量文件移动到add目录；步骤5，执行更新收敛的sql语句将增量文件增量收敛到全量表；步骤6，完成收敛更新后将对应记录恢复成未占用状态并修改该记录对应字段内容信息。本发明解决了CarbonData的流式处理方案不支持增量更新的问题，降低了业务改造的工作量。

技术领域

本发明涉及，尤其涉及基于CarbonData的增量数据收敛更新方法及其系统。

背景技术

为解决多种外部数据源(消息流或文件格式)实现数据增量更新，快速将外部数据源变化收敛到Hadoop平台上的全量表中，并能够随时提供聚合查询能力的问题。近些年来，许多公司逐渐开始使用CarbonData这种开源的大数据高性能数据存储格式，相比其他技术有明显优势，不仅可以提供丰富的索引及编码支持，同时还基于Hadoop生态、与Spark的高度集成，但还存在一些问题限制了它的应用。

CarbonData目前流处理只支持数据的插入，不支持数据的删除和更新。对于需要对数据进行删除和更新的场景不能直接使用，需要采用全量更新变通方案，复杂且低效。还有对旧有外部数据源系统(非消息流的文件格式、0.8.x低版本的Kafka，RabbitMQ，RocketMQ)的兼容较差。CarbonData缺少对增量数据的有效管理，无法追溯增量数据收敛过程的顺序性及准确性。另外，数据的删除和更新操作容易产生碎片，虽然提供了通过SQL合并和清理碎片的碎片整理功能，但合并和清理的时间太接近容易导致数据长时间不可用，合并或清理太频繁也会影响其随时提供聚合查询能力。对于需要对数据进行删除和更新的场景，无法直接使用CarbonData流处理来对应。外部数据源系统不满足CarbonData的兼容性要求时，数据源将不可用。增量数据处理发生异常时，无法追溯增量数据收敛过程的顺序性及准确性。碎片整理会影响其随时提供聚合查询能力。

发明内容

本发明的目的在于提供基于CarbonData的增量数据收敛更新方法及其系统，能保证增量数据处理的实时性、持续性、有序性。

本发明采用的技术方案是：

基于CarbonData的增量数据收敛更新方法，其特征在于：其包括以下步骤：

步骤1，增量数据落地模块将增量数据进行识别处理后落地至待做目录中，在元数据表新增一条记录；

步骤2，新增记录后触发元数据表预设的触发器，触发器在数据增量更新收敛模块的调度功能上新增一条任务；

步骤3，数据增量更新收敛模块获取调度任务，并以触发型任务优先原则进行确定当前任务类型；

步骤4，根据当前任务类型进行任务逻辑处理，将增量文件移动到add目录；

步骤5，执行更新收敛的sql语句将增量文件增量收敛到全量表；

步骤6，完成增量数据收敛更新后将对应记录恢复成未占用状态并修改该记录对应字段内容信息。

进一步地，步骤1的具体步骤如下：

步骤1.1，当增量数据为于消息流格式的增量时，增量数据落地模块进行消息流格式增量数据处理，具体步骤为：

步骤1.1.1，对于消息流格式的增量，增量数据落地模块消费一批消息并转成CSV文件格式写到temp临时目录，

步骤1.1.2，CSV文件生成完整后根据业务需要将临时目录的文件进行合并或分拆并依次移到待做目录；