[发明专利]一种文档型数据库中数据抽取到关系数据库的方法和系统

说明书

本发明涉及数据库领域，具体涉及一种文档型数据库中数据抽取到关系数据库的方法和系统，其中文档型数据库中数据抽取方法包含以下步骤：在文档型数据库中创建视图，视图包括所有需进行数据转换的文档；获取视图中所有文档，并获取每一个文档的文档ID；获取视图中所有文档中出现过的域名的并集；在关系数据库中创建视图对应的表，并集中的每一个域名为表中的一个字段名；将每个需进行数据转换的文档中每个域的第一数据分别转换为对应域的预设数据类型的第二数据，根据文档的全局唯一ID和域名，将第二数据插入表的相应位置。本发明解决了文档型数据库中数据抽取时不同文档域集不同的问题，提供了一种可正确、快速、批量进行数据抽取的方法和系统。

【技术领域】

本发明涉及数据库领域，特别是涉及一种文档型数据库中数据抽取到关系数据库的方法和系统。

【背景技术】

目前常用的数据库有文档型数据库和关系数据库两种类型。文档型数据库以文档作为基本存储单元存放数据，不同性质数据存储在不同域中。关系数据库以表作为基本存储单元存放数据，不同性质数据存放在不同字段中。两种数据库对于数据及文件的组织方式不同，数据存取的方式也不同。

为了解决文档型数据库和关系数据库间数据交换问题，将文档型数据库中以文档形式存储的数据转换至关系数据库的表形式存储，需要将文档型数据库中的数据按照一定规则抽取至关系数据库中。目前，一般的抽取方式是直接使用数据读取接口读取文档型数据库中需转换文档各域的数据，插入关系数据库表中相应的位置。

但是，文档型数据库中不同文档存放的数据属性和内容不同，因此每一文档中的域集可根据需要进行自定义，除了通用域外的域集可能不一致，相同域名的数据类型可能不一致，同一文档中存在域名重复现象，且文档中可能包含不属于同一数据库实例的附件。因此，直接提取数据的方式可能造成数据冲突或提取不完整等问题，导致目前文档型数据库中数据抽取到关系数据库中时一般需要为每一个待抽取文档建立一个表进行存储，若需将多个文档的数据存放在同一个表中进行管理，还需在进行数据抽取后再使用数据库工具将多个表合并至一个表中，无法方便的将多个文档抽取至同一表中。

鉴于此，如何克服该现有技术所存在的缺陷，，避免数据抽取时的域名冲突，是本技术领域亟待解决的问题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明解决了文档型数据库向关系数据库中进行数据抽取时各文档域集不一致导致的无法批量抽取，以及文档内域名重复等因素造成的数据抽取错误。

本发明实施例采用如下技术方案:

第一方面，本发明提供了一种文档型数据库中数据抽取到关系数据库的方法，包括：在文档型数据库中创建视图，视图包括所有需进行数据转换的文档；获取视图中所有文档，并获取每一个文档的文档ID，每一个文档的文档ID为全局唯一ID；获取视图中每一文档中域名的集合，并将各文档中域名的集合取并集；在关系数据库中创建视图对应的表，以并集中的每一个域名为字段名，向表中插入字段；获取每个文档中每个域中待抽取的数据，将第一数据转换为相应域名的字段的预设数据类型的数据；根据文档的文档ID和域名，将转换后的数据插入表的相应位置。

优选的，将转换后的数据插入表的相应位置，具体为：以文档ID为主键向表中插入行，其中每一行存放一个文档的所有数据；将文档中每个域的转换后的数据插入文档所在行相应域名的字段。

优选的，将转换后的数据插入视图对应表的相应位置，还包括：若同一文档中存在多个相同域名的域，将每个域中的数据单独进行数据转换，转换后的第二数据用预设连接符连接成为第三数据，将第三数据插入文档所在行相应域名的字段。

优选的，将每个需进行数据转换的文档中每个域的第一数据分别转换为对应域的预设数据类型的第二数据，具体为：判断第一数据是否为富文本，若是，预设数据类型为CLOB类型；若否，判断第一数据长度是否大于预设数据长度，若是，预设数据类型为CLOB类型，若否，预设数据类型为VARCHAR类型；将第一数据转换为预设数据类型的第二数据。