[发明专利]数据源表的大数据加工检测方法及装置

说明书

本发明提供一种数据源表的大数据加工检测方法及装置，通过使用谓词化的语言对转化过程和始态终态进行表述，并且可以定义强满足不变式(包含在conetxt部分)，自动检测不定式是否得到满足，可以完成判断是否可以加工、如何进行加工的功能。此外，还可以识别潜在的加工场景，也可对具体过程进行仿真。

技术领域

本发明涉及数据加工技术领域，更具体的，涉及一种数据源表的大数据加工检测方法及装置。

背景技术

在进行大数据任务加工时，经常需要分析根据已有的各种源表信息是否可以获取最终加工结果表，以及如何进行加工的场景，现有技术上逻辑公式的整个转换过程比较抽象，并且没有接触过逻辑公式的人群无法对自动机性质进行表述。

发明内容

为了解决上述问题的至少一个，本发明一个方面实施例提供一种数据源表的大数据加工检测方法，包括：

分析并抽象出数据源表和目标结果表的需求；

基于event-b语言，用谓词化语言描述所述需求，得到多个用于描述需求性质的需求用例；

根据所述需求用例生成event-b模型，并同时生成模型不变式；

利用所述模型不变式验证所述需求用例，进而检测所述数据源表的大数据加工可行性。

在某些实施例中，所述谓词化语言包括：select、group by、join以及where。

在某些实施例中，所述根据所述需求用例生成event-b模型，包括：

根据所述需求用例对造成状态转换的操作进行建模得到event-b模型，同时构建模型不变式。

在某些实施例中，还包括：

对所述event-b模型进行精化操作。

在某些实施例中，对所述event-b模型进行精化操作，包括：

在event-b模型使用过程中，判断是否产生新的需求用例，若产生，逐步精化所述event-b模型。

在某些实施例中，还包括：

利用所述event-b模型确定由数据源表到目标结果表的转换操作以及转换操作序列。

本发明另一方面实施例提供一种数据源表的大数据加工检测装置，包括：

需求分析模块，分析并抽象出数据源表和目标结果表的需求；

需求用例生成模块，基于event-b语言，用谓词化语言描述所述需求，得到多个用于描述需求性质的需求用例；

模型生成模块，根据所述需求用例生成event-b模型，并同时生成模型不变式；

可行性检测模块，利用所述模型不变式验证所述需求用例，进而检测所述数据源表的大数据加工可行性。

在某些实施例中，所述谓词化语言包括：select、group by、join以及where。

在某些实施例中，所述模型生成模块，包括：

转换操作序列生成单元，根据所述需求用例确定由数据源表到目标结果表的转换操作以及转换操作序列；

模型建立单元，对所述转换操作序列中造成状态转换的操作进行建模得到event-b模型，同时构建模型不变式。

在某些实施例中，还包括：

精化模块，对所述event-b模型进行精化操作。