[发明专利]一种知识库数据采集刷新的方法

说明书

技术领域

本发明涉及知识库数据的动态调整，特别是涉及一种知识库数据采集刷新的方法。

背景技术

大型数据库的内部同步技术，一直是数据库技术方面的一个难题。当数据量很庞大时，就要求系统在大型数据库的内部同步技术上方面非常突出，满足对于数据库安全性、完备性以及实时性方面达到很高的标准。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种知识库数据采集刷新的方法。

本发明的目的可以通过以下技术方案来实现：一种知识库数据采集刷新的方法，其特征在于，该方法根据数据的类型采用FTP协议的文件传送方式或WEBService方式从数据源采集数据，并采用直接刷新方式或预处理方式对数据进行刷新。

该方法采用FTP协议的文件传送方式对以增量方式提供的基础数据进行采集。

该方法当使用知识库的客户端在任意时刻提出最新的业务数据和用户数据请求时，知识库立即通过WEBService方式直接向数据源采集数据。

方法对于基础数据采用直接刷新方式进行数据刷新。

该方法对于因基础数据而产生大量变化的中间结果数据，采用预处理方式，即通过了解知识库用户的习惯，预测用户希望的数据，也可由用户提出定制需求，在基础数据更新后提前运算处理，当用户需要数据时立即退出；在存储结构上采用多级物化视图的方式。

与现有技术相比，本发明提高了数据的完整性和实时性。

附图说明

图1为本发明的原理框图；

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种知识库数据采集刷新的方法，该方法根据数据的类型采用FTP协议的文件传送方式或WEBService方式从数据源采集数据，并采用直接刷新方式或预处理方式对数据进行刷新。

该方法采用FTP协议的文件传送方式对以增量方式提供的基础数据进行采集。

该方法当使用知识库的客户端在任意时刻提出最新的业务数据和用户数据请求时，知识库立即通过WEBService方式直接向数据源采集数据。

该方法对于基础数据采用直接刷新方式进行数据刷新。

该方法对于因基础数据而产生大量变化的中间结果数据，采用预处理方式，即通过了解知识库用户的习惯，预测用户希望的数据，也可由用户提出定制需求，在基础数据更新后提前运算处理，当用户需要数据时立即退出；在存储结构上采用多级物化视图的方式。

数据源采集有两种方案：

如图1：

基于FTP协议的文件传送，在固定时间数据源传送数据的增量变化文件，该方案具有时间固定、时间长、批量数据、只含增量部分、规模大等特点。

基于WEBService，当使用知识库的客户端在任意时刻提出最新的业务数据和用户数据请求时，知识库立即通过WEBService方式直接请求数据源更新数据。该方案具有实时、快速、个体数据、规模小等特点。

知识库的结构复杂，内部关系众多，数据更新时会产生大量中间结果的运算，如此客户群模型的描述等。如处理不当，将直接影响系统的响应性能。因此，数据刷新分为直接刷新和预处理刷新两种方案：

对于基础数据采用直接刷新的方法，因为新数据以增量方式提供，规模不大，可以很快实现更新。

对于因基础数据而产生大量变化的中间结果数据，采用预处理方式，即通过了解知识库用户的习惯，预测用户希望的数据，也可由用户提出定制需求，在基础数据更新后提前运算处理，当用户需要数据时立即推出。在存储结构上采用多级物化视图的方式，以充分利用数据库提供的便利。