[发明专利]分次储存外部数据的数据处理系统及其方法

说明书

技术领域

本发明涉及一种数据处理系统及其方法，特别涉及一种分次储存外部数据的数据处理系统及其方法。

背景技术

随着信息科技的发达，有许多的数据改以电磁记录的方式储存。目前主要使用数据库或是使用文档等方式储存数据。其中，数据库是以一个个的数据表储存一个个的数据，储存在数据库中的每一个数据的内容依据数据库的结构而定，而文档中所储存的数据则没有一定的储存格式，可以随着文档建立者的喜好或习惯记录数据。

由于数据库与文档储存数据的方式不同，当需要同时对数据库以及文档所储存的数据进行处理时，数据处理程序需要包含操作数据库的程序代码、依据文档格式读取记录于文档中的数据的程序代码、以及处理资料的程序代码，这将造成数据处理程序非常复杂且不易维护。

另外，由于有部分的数据来自于文档中，因此，数据处理程序也无法使用数据库所提供的功能来处理所有的数据，而需要由数据处理程序的开发者自行开发数据库已提供的功能，例如某些统计功能，这除了增加数据处理程序的复杂度外，也增加了开发数据处理程序的时间以及人力等成本。

综上所述，可知现有技术中长期以来一直存在处理储存于文档中的数据的数据处理程序日益复杂的问题，因此有必要提出改进的技术手段，来解决这一问题。

发明内容

有鉴于现有技术存在处理储存于文档中的数据的数据处理程序日益复杂的问题，本发明提供一种分次储存外部数据的数据处理系统及其方法，其中：

本发明所提供的分次储存外部数据的数据处理系统，至少包含：数据库；至少一预读取模块，用以将各外部数据分类为多个待处理群组，并产生对应各待处理群组的各读取请求，及用以依据一定顺序执行各读取请求以读取属于各待处理群组的外部数据，并将所读出的各外部数据储存至数据库中；数据处理模块，用以读取储存于数据库中的目标数据，及用以于数据库中未储存目标数据时，产生读取目标数据的优先处理请求，使预读取模块暂停依序执行读取请求，并依据优先处理请求执行相对应的读取请求，藉以将包含目标数据的待处理群组所属的外部数据储存至数据库后，再恢复读取与被暂停的读取请求对应的外部数据。

本发明所提供的分次储存外部数据的数据处理方法，其步骤至少包括：分类外部数据为多个待处理群组；产生分别与各待处理群组对应的多个读取请求；依据一定顺序执行各读取请求以读取属于各待处理群组的外部数据，并储存所读出的各外部数据至数据库中；判断被读取的目标数据未储存于数据库中后，产生读取目标数据的优先处理请求；暂停依序执行的读取请求；依据优先处理请求执行相对应的读取请求，并储存包含目标数据的待处理群组所属的外部数据至数据库中；恢复读取与被暂停的读取请求对应的外部数据；读取目标数据。

本发明所提供的系统与方法如上，与现有技术之间的差异在于本发明依据一定顺序执行与各个待处理群组对应的读取请求以储存各外部数据至数据库中，当被读取的目标数据未储存于数据库中时，产生读取目标数据的优先处理请求，并于暂停依序执行的读取请求后，依据优先处理请求执行相对应的读取请求并储存包含目标数据的外部数据至数据库中，由此解决现有技术所存在的问题，并可以达成依据读取需求决定数据汇入顺序并方便处理整合后的数据的技术效果。

附图说明

图1A为本发明所涉及的分次储存外部数据的数据处理系统架构图。

图1B为本发明所涉及的另一种分次储存外部数据的数据处理系统架构图。

图2为本发明所涉及的分次储存外部数据的数据处理方法流程图。

图3A、图3B为本发明实施例所涉及的处理队列(queue)中的读取请求变化连续示意图。

【主要部件附图标记说明】

100    系统

110    数据库

120    数据处理模块

130    预读取模块

400    外部存储介质

500    处理队列

步骤312  分类外部数据为多个待处理群组

步骤316  产生分别与各待处理群组对应的读取请求

步骤332  锁定(lock)处理队列

步骤336  依据一定顺序执行各读取请求以读取属于各待处理群组的外部数据

步骤340  储存所读出的外部数据至数据库中

步骤350  判断被读取的目标数据是否储存于数据库

步骤360  产生读取目标数据的优先处理请求

步骤372  暂停依序执行的读取请求