[发明专利]一种数据库数据导入方法

说明书

本发明公开一种数据库数据导入方法，包括以下步骤,步骤S1，上传包括手机号码数据的资料文件，读取所述资料文件列的第一行做为表头信息，根据数据库中提供的数据存储列，将所述表头信息与所述数据存储列进行匹配字段；步骤S2，对匹配字段后得到的若干数据提出批量导入数据请求，对所述批量导入数据请求执行组装成一个SQL语句进行合并处理，对执行合并处理的所述批量导入数据请求对应的数据进行导入处理；步骤S3，执行所述导入处理，判断所述数据库数据是否已经存在所述批量导入数据请求包括的手机号码，若数据库中已经存在，则更新所述数据库相应的数据，若不存在，则所述数据库生成并添加所述批量导入数据请求包括的相应数据。

技术领域

本发明涉及数据处理技术领域，具体是一种数据库数据导入方法。

背景技术

随着市场竞争的日趋激烈，各个企业的客户信息越发重要。伴随信息技术在企业的广泛应用，企业一般会积累大量的客户信息数据，如何及时更新这些数据，以便作出正确的决策，对企业来说，有着十分重要的意义。

数据仓库是为了支持企业决策而出现的一项技术，其目的是将企业范围内的所有数据集成在一个大仓库中，便于用户查询、分析，并产生报告等。数据仓库中的数据来自不同的业务数据库，按照主题进行数据组织。由于数据仓库可以将大量的历史性数据进行合理的组织，使得数据库系统能够更加方便地利用数据、分析数据，在分析的基础上建立模型，对结构化和半结构化的决策问题给出结果，因而，数据仓库技术正成为企业信息集成和辅助决策应用的关键技术之一。

大规模数据仓库的数据导入数据库系统，大多支持用户并发上传数据，采用批处理的方式，将数据持久化到数据仓库的存储数据库系统和元数据数据库系统。一般情况下，客户信息数据从产生到导入到数据仓库，存在集中性、实时等特点，短时间大量数据会被导入到同一元数据对象中。而在数据的提交阶段，对元数据的更新，有一定的延迟和并发限制，导致数据导入的并发度和成功率受到影响。可以看出，现有数据仓库的数据导入数据库系统中的批处理操作存在较大时延性，以及依赖元数据数据库系统的高并发支持等问题。

而且，目前，针对市场上大量客户信息导入到数据库的过程，出现客户导入过程速度缓慢；导入文件格式单一，一般只支持CSV格式导入。

发明内容

本发明的目的在于提供一种数据库数据导入方法，以解决现有技术中的问题。

为实现上述的目的，本发明提供如下技术方案：

一种数据库数据导入方法，

包括以下步骤：

步骤S1，上传包括手机号码数据的资料文件，读取所述资料文件列的第一行做为表头信息，根据数据库中提供的数据存储列，将所述表头信息与所述数据存储列进行匹配字段；

步骤S2，对匹配字段后得到的若干数据提出批量导入数据请求，对所述批量导入数据请求执行组装成一个SQL语句进行合并处理，对执行合并处理的所述批量导入数据请求对应的数据进行导入处理；

步骤S3，执行所述导入处理，判断所述数据库数据是否已经存在所述导入数据请求包括的手机号码，若数据库中已经存在，则更新所述数据库相应的数据，若不存在，则所述数据库生成并添加所述批量导入数据请求包括的相应数据。

进一步，对所述批量导入数据请求进行所述导入处理时，判断所述批量导入数据包括的手机号码在所述数据库中是否存在，若存在则所述数据库相应的数据执行批量更新操作，若不存在则所述数据库执行批量生成数据并添加操作。

优选的，对读取的所述资料文件的数据，设置每次批量读取所述资料文件的行数，计算出总页数，

从所述资料文件的第一页开始循环读取相应页数的数据，循环数增加一次，相应页数增加一页，直至循环数等于所述总页数。