[发明专利]数据更新方法、数据更新装置、计算机设备及存储介质

说明书

本发明公开了一种数据更新方法、数据更新装置、计算机设备及存储介质，获取在预设时间点之前从应用系统同步来的第一数据，并将第一数据导入第一数据表中；获取在预设时间点之后从应用系统同步来的第二数据，并将第二数据导入第二数据表中，其中第二数据表的格式与第一数据表的格式相一致；联合第一数据表和第二数据表，生成总数据表；及除去总数据表中的重复数据，获取更新后的总数据表。本发明提供的数据更新方法、数据更新装置、计算机及存储介质通过联合第一数据表和第二数据表再去重，逻辑简单，省去了手工处理的麻烦，节省了大量的人力物力，同时也确保了数据更新的准确性。

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种数据更新方法、数据更新装置、计算机设备及存储介质。

背景技术

随着互联网和大数据技术的推广和普及，需要存储和处理的数据越来越多，基于Hadoop和Hive分布式集群的数据仓库已逐步成为主流。例如，来自业务系统的海量数据需要采用Hive表进行存储，便于数据的管理、查询。然而，由于业务需求的变化等原因，业务系统的某些表难免会发生表结构变化，进而使得各个期间归档源数据的不同。

在一个典型的星型模式数据仓库中，维度表随时间的变化很缓慢。例如，一个零售商开了一家新商店，需要将新店数据加到商店表，或者一个已有商店的营业面积或其它需要跟踪的特性改变了。这些改变会导致插入或修改个别记录。但是Hive从0.14版本开始，才支持行级更新。另外，有时发现数据集合有错误并需要更正。或者当前数据只是个近似值(如只有全部数据的90％，得到全部数据会滞后)。或者业务规则可能需要根据后续事务重述特定事务(比如，一个客户购买了一些商品后又购买了一个会员资格，此时可以享受折扣价格，包括先前购买的商品)。或者一个客户可能按照合同在终止了合作关系后要求删除他们的客户数据。

但是，Hive自0.14版本才支持更新，且要求数据表必须支持ACID属性。其中ACID属性包括原子性(Atomic,A)、一致性(Consistency，C)、隔离性(Isolation，I)、持久性(Durability，D)。企业用到的Hive版本极少能支持更新并及时更新，但是需要更新的数据又较多，用户只能将数据流水拉出来手工处理，从而消耗了大量的人力物力，并且手工操作还会产生误差，导致所更新的数据不准确。

发明内容

有鉴于此，本发明提出一种基于主题识别的问题生成方法、问题生成系统、计算机设备及存储介质，能够识别出问句中的主题，并结合该主题和语义相似度，生成相关问题，使得所生成的问题更符合用户的实际需求和想法。

首先，为实现上述目的，本发明提出一种数据更新方法，该数据更新方法包括步骤：

获取在预设时间点之前从应用系统同步来的第一数据，并将所述第一数据导入第一数据表中；

获取在所述预设时间点之后从所述应用系统同步来的第二数据，并将所述第二数据导入第二数据表中，其中所述第二数据表的格式与所述第一数据表的格式相一致；

联合所述第一数据表和所述第二数据表，生成总数据表；及

除去所述总数据表中的重复数据，获取更新后的总数据表。

进一步地，所述获取第一数据表和第二数据表，其中所述第一数据表的格式与所述第二数据表的格式相一致的步骤之前，所述数据更新方法还包括：

创建Hive数据库；及

获取原始数据源，根据所述原始数据源，在所述Hive数据库中，创建与所述原始数据源的格式相符合的第一数据表。

进一步地，所述联合所述第一数据表和所述第二数据表，生成总数据表的步骤包括：

利用UNION ALL命令，对所述第一数据表和所述第二数据表进行并集操作，生成所述总数据表。