[发明专利]基于数据湖的异构数据源集成方法及装置

权利要求书

1.基于数据湖的异构数据源集成方法，其特征在于，其方法包括如下步骤：

a、根据用户调用写数据接口的信息，确定本次写请求的操作标示、数据、时间戳，其中操作标示包含追加、更新、删除三种类型，时间戳为写请求达到的时间，将以上信息追加写入到数据湖中的一个特定文件内，所述特定文件为patch文件；

b、将上一步写入到特定文件内的数据，结合操作标示及时间戳做数据合并处理，得到最终的结果数据，其中，所述数据合并处理包括：首先将目标表的历史数据取出，加工为patch文件格式相同的数据，其中操作标示统一为“I”当插入数据对待，timestamp统一设置为0，代表目标表既有的数据为最先插入的数据；然后读取patch文件的数据，与上一步的处理的数据追加在一起，形成一份完整的patch格式数据；最后，按照操作标示、写入时间戳对数据排序，取时间戳最大的数据，并结合操作标示合并数据，得到最终的结果。

2.基于数据湖的异构数据源集成装置，其特征在于，其装置包括：

异构数据同步装置，用户将不同数据源的原始数据，按照增量同步条件提取数据库数据同步到数据湖中的一个特定文件内，所述特定文件为patch文件；

数据湖数据合并装置，用于将异构数据同步装置同步到特定文件内的数据，按照操作标示及时间戳，将特定文件内的数据与历史数据做合并，合并后得到最新的数据，其中，所述数据合并处理包括：首先将目标表的历史数据取出，加工为patch文件格式相同的数据，其中操作标示统一为“I”当插入数据对待，timestamp统一设置为0，代表目标表既有的数据为最先插入的数据；然后读取patch文件的数据，与上一步的处理的数据追加在一起，形成一份完整的patch格式数据；最后，按照操作标示、写入时间戳对数据排序，取时间戳最大的数据，并结合操作标示合并数据，得到最终的结果。