[发明专利]一种高效的数据处理方法及装置

说明书

技术领域

本发明涉及通信领域中的数据处理技术，尤其涉及一种高效的数据处理方 法及装置。

背景技术

在现有计算机数据的处理过程中，相关技术人员采用图形用户接口(GUI) 处理并显示数据，且通常利用表格显示数据，所述表格里的每行记录通常都是 由数据库中的多张表拼接形成的，那么，多行记录组成的整张表格所需进行拼 接的表格数目将会很大。在目前的解决方案中，通常利用在数据库系统中运行 SQL脚本等的方法来实现数据的多表拼接过程，之后将拼接好的结果保存为一 张新的表格显示给用户。但是，所述已有的处理方法存在一定缺陷：

1)由于数据的拼接过程是在数据库系统中进行的，当需处理的表格数目很 大时，即需处理的数据量很大时，需要数据库系统做很长时间的运算，导致数 据库系统长时间被占用，浪费了数据库资源，使得数据库的运行成本很高；

2)现有的处理方法无法动态地显示数据处理结果，原因为：现有的处理方 法是将所有记录均逐条拼接完成后，才将整张表格一次性地显示给用户，在处 理过程中，已经拼接完毕的记录存储于数据库内存中，不能及时显示给用户， 用户只能在所有记录均处理完毕后才能看到结果，因此，用户需花费很长时间 等待数据库处理数据，从而导致用户的满意度降低。

发明内容

有鉴于此，本发明的主要目的在于提供一种高效的数据处理方法及装置， 可降低数据库的资源消耗，减少用户等待时间，提高用户的满意度。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种高效的数据处理方法，该方法包括：

将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；

在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置 对应的记录定位信息集合；

将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集 合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据 记录，并在解析数据记录的同时将已解析完毕的数据记录显示在表格中。

其中，所述每张原始表格的数据文件由所述每张原始表格编码生成的多条 数据记录组成。

其中，所述每个数据文件对应的记录定位信息集合由多个记录定位信息元 组成。

其中，所述一个记录定位信息元对应存储一条数据记录中所有数据的索引。

上述方案中，所述同时将已解析完毕的数据记录显示在表格中的操作，为：

在解析的过程中设置一独立于解码过程的数据处理线程，每解析完一条新 的数据记录，则显示一条新的数据记录。

本发明还提供了一种高效的数据处理装置，该装置包括：下载模块、数据 处理模块和数据显示模块；其中，

所述下载模块，用于将表格显示所涉及到的所有原始表格从数据库下载到 本地并存储，并将下载的内容发送到数据处理模块；

所述数据处理模块，用于在本地将每张原始表格编码生成对应的数据文件， 并为每个数据文件配置对应的记录定位信息集合；将每个记录定位信息集合中 的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和 与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将 已解析完毕的数据记录发送到数据显示模块；

所述数据显示模块，用于将数据处理模块所发的已解析完毕的数据记录显 示在表格中。

其中，所述数据处理模块中进一步包括：编码配置模块和拼接解析模块； 其中，

所述编码配置模块，用于将下载模块下载的每张原始表格编码生成对应的 数据文件，并为每个数据文件配置对应的记录定位信息集合，并将所有数据文 件及对应的记录定位信息集合发送到拼接解析模块；

所述拼接解析模块，用于将编码配置模块所发的每个记录定位信息集合中 的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和 编码配置模块所发的与新的记录定位信息集合对应的数据文件逐条解析出对应 的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显 示模块；

相应的，所述下载模块，进一步用于将下载的内容发送到编码配置模块；

所述数据显示模块，进一步用于将编码配置模块所发的已拼接完毕的数据 记录显示在表格中。