[发明专利]数据加载方法及装置有效
| 申请号： | 201810510384.X | 申请日： | 2018-05-24 |
| 公开（公告）号： | CN108829747B | 公开（公告）日： | 2019-09-17 |
| 发明（设计）人： | 李鹏;丁杉 | 申请（专利权）人： | 新华三大数据技术有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/2455;G06F16/23;G06F16/2458 |
| 代理公司： | 北京超成律师事务所 11646 | 代理人： | 王小梅 |
| 地址： | 450000 河南省郑州市郑州高新*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及一种数据加载方法及装置，以解决数据加载效率低的问题。该方法包括：扫描周期到达时，从数据源读取数据记录作为数据记录集合中的第一数据记录；遍历数据记录集合中的第一数据记录，根据第一数据记录的主键在缓存数据库中进行检索；当在缓存数据库中未检索到与主键匹配的数据记录时，将第一数据记录添加至新增数据记录集合；当在缓存数据库中检索到与主键匹配的数据记录、且第一数据记录的生命周期终止时，将第一数据记录添加至生命周期终止数据记录集合；将新增数据记录集合中的数据记录插入目标数据库的全量数据表；用生命周期终止数据记录集合中的数据记录替换与其主键一致的全量数据表中的数据记录。提高了系统处理效率。 | ||
| 搜索关键词： | 数据记录 第一数据 集合 主键 缓存数据库 生命周期 记录 检索 记录添加 数据加载 匹配 数据加载效率 系统处理效率 目标数据库 遍历数据 记录集合 扫描周期 数据源 替换 | ||
【主权项】：
1.一种数据加载方法，其特征在于，应用于对数据进行抽取‑转换‑加载ETL，所述方法包括：扫描周期到达时，从数据源读取数据记录至数据记录集合，作为所述数据记录集合中的第一数据记录；遍历所述数据记录集合中的所述第一数据记录，针对遍历到的任一第一数据记录，根据所述第一数据记录的主键在缓存数据库中进行检索；其中，所述缓存数据库中包括生命周期未终止的有效数据记录；当在所述缓存数据库中未检索到与所述主键匹配的数据记录时，将所述第一数据记录添加至新增数据记录集合，并将所述新增数据记录集合中的数据记录插入目标数据库的全量数据表；以及，将所述第一数据记录存入所述缓存数据库；当在所述缓存数据库中检索到与所述主键匹配的数据记录、且所述第一数据记录的生命周期终止时，将所述第一数据记录添加至生命周期终止数据记录集合，并用所述生命周期终止数据记录集合中的数据记录替换与其主键一致的所述全量数据表中的数据记录；以及，在所述缓存数据库中删除检索到的数据记录。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司，未经新华三大数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810510384.X/，转载请声明来源钻瓜专利网。
