[发明专利]数据源的匹配方法和装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据源的匹配方法和装置。

背景技术

在用数据提取、转换和加载（Extraction Transformation Loading，简称ETL）工具进行数据的提取、转换和加载时，中间往往会有很多的转换操作，转换过程经常需要通过数据源的原始相关列，和所要插入的目标数据库的相应维度表的相关匹配列进行匹配，并找到相应维度表与其对应的外键（即，相应维度表的唯一主键值）。在微软SSIS（Microsoft SQL Server2005Integration Service）工具里，进行数据的提取、转换和加载的通常做法都是采用查询（Lookup）控件，而Lookup控件自身有其局限性，对于大批量的数据源，需要从相应维度表中里查找其对应的外键时，存在内存占用过大或速度过慢的弊端。

针对相关技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据源的匹配方法和装置，以解决现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据源的匹配方法，包括：接收数据源；将数据源的记录行插入到目标数据库中，形成临时表；接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及以第一匹配记录作为匹配源对数据源进行匹配。

进一步地，在接收数据源之后，匹配方法还包括：对记录行进行去重处理，将数据源的记录行插入到目标数据库中，形成临时表包括：将经过去重处理后的记录行插入到目标数据库中，形成临时表。

进一步地，在形成临时表之后，并且在接收第一匹配记录之前，匹配方法还包括：建立临时表与目标数据库之间的连接匹配；以及返回第一匹配记录。

进一步地，第一匹配记录包括匹配列和匹配值。

进一步地，在以第一匹配记录作为匹配源对数据源进行匹配之后，匹配方法还包括：将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

为了实现上述目的，根据本发明的另一方面，提供了一种数据源的匹配装置，该匹配装置用于执行本发明上述内容所提供的任一种数据源的匹配方法。

为了实现上述目的，根据本发明的另一方面，提供了一种数据源的匹配装置，包括：第一接收单元，用于接收数据源；第一插入单元，用于将数据源的记录行插入到目标数据库中，形成临时表；第二接收单元，用于接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及匹配单元，用于以第一匹配记录作为匹配源对数据源进行匹配。

进一步地，匹配装置还包括：去重单元，用于对记录行进行去重处理，第一插入单元还用于将经过去重处理后的记录行插入到目标数据库中，形成临时表。

进一步地，匹配装置还包括：建立单元，用于建立临时表与目标数据库之间的连接匹配；以及返回单元，用于返回第一匹配记录。

进一步地，第一匹配记录包括匹配列和匹配值。

进一步地，匹配装置还包括：第二插入单元，用于将第二匹配记录插入到目标数据库中，其中，第二匹配记录为以第一匹配记录作为匹配源对数据源进行匹配得到的匹配记录。

本发明采用接收数据源；将数据源的记录行插入到目标数据库中，形成临时表；接收第一匹配记录，其中，第一匹配记录表示临时表与目标数据库之间的连接匹配关系；以及以第一匹配记录作为匹配源对数据源进行匹配。通过将数据源的记录行插入到目标数据库中，形成临时表，然后以临时表与目标数据库之间的匹配记录（即，第一匹配记录）作为匹配源进行数据源的匹配，实现了将在内存里进行的匹配逻辑转移到目标数据库中进行，从而能够高效利用数据库的并发批量连表操作进行快速数据匹配。由于临时表与目标数据库之间的匹配记录仅包含数据源所需要匹配的记录行，因此在以第一匹配记录作为匹配源进行数据源的匹配，做到了内存压力最小化。可以看出，本发明解决了现有技术中进行大量数据源和目标数据库的匹配存在内存占用过大或速度过慢的问题，进而达到了减小数据源匹配时的内存占用和提高匹配速度的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据源的匹配方法的流程图；