[发明专利]一种基于语义分析的专家系统规则库建立方法

说明书

本发明涉及一种基于语义分析的专家系统规则库建立方法，用于以非结构化或半结构化数据作为专家经验的专家系统。以克服现有规则库建立方法存在的速度慢、易出错以及维护成本高的问题。包括数据预处理、利用预处理后的数据，训练模型，获得语义依存模型及规则库建立的步骤。采用自然语言处理技术，将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系，使用基于CRF的语义依存分析模型，以适应相关领域的全新数据的分析，最后以分析后的结果为基础，组合建立大量的依存弧规则信息。可以改善其规则库建立的自动化程度，不易出错且维护成本低。

技术领域

本发明涉及一种基于语义分析的专家系统规则库建立方法，用于以非结构化或半结构化数据作为专家经验的专家系统。

背景技术

在目前的人机对话应用中存在大量的基于规则的专家系统，基于规则的专家系统在工作时需要建立完整的规则库来实现。传统规则库的建立常常是通过人工方式将专家知识改写为规则逻辑，这种方式速度慢且容易造成错误；另外，专家系统需要一定的可移植性，即在升级或更换规则库后专家系统应适应新的领域任务，而新的任务将大幅修改和增加规则库的规模及内容，使得维护成本增加。

发明内容

本发明的目的是提供一种基于语义分析的专家系统规则库建立方法，以克服现有规则库建立方法存在的速度慢、易出错以及维护成本高的问题。

本发明的技术方案是提供一种基于语义分析的专家系统规则库建立方法，其特殊之处在于，包括以下步骤：

步骤1、数据预处理；

步骤1.1、读取用户和现场相关领域提供的半结构化或非结构化数据作为样本数据，并处理数据；

步骤1.2、增加样本数据标签，标示数据属性之间的语义依存弧关系；

步骤1.3、根据语义依存弧关系种类数，将样本数据分为n份样本数据，其中n为语义依存弧关系种类数；将每一份样本数据均划分为训练集和测试集；

步骤1.4、备份并保存数据样本；

步骤2、利用步骤1预处理后的数据，训练模型，获得语义依存模型；

步骤2.1、采用条件随机场(CRF，Conditional Random Fields)模型，对n个训练集数据分别进行学习，获得相对稳定的n个语义依存模型；

步骤2.2、使用各个测试集对相应语义依存模型进行测试，完成测试后，保存n个语义依存模型；

步骤3、规则库建立；

步骤3.1、将未知的工业现场数据输入至n个语义依存模型，获得n类输出结果，分别为n类依存弧；

步骤3.2、重复步骤3.1，记录n个语义依存模型输出结果，并判断输出结果的稳定程度，记录稳定程度评价值，作为后续使用该模型的权重参考；

步骤3.3、统计n类依存弧；

当两个依存弧中存在包含关系时，选择被包含的较小的依存弧为正确结果，剔除较大的依存弧；

当依存弧存在矛盾关系时，选择依存弧链较小的依存弧为正确结果，剔除较大的依存弧；

步骤3.4、基于已有的依存弧，将所有依存弧按照一定密度进行采样，得到大量的组合性依存弧数据，即构成专家系统所需的规则库。

进一步地，步骤1.1具体为：

步骤1.11、读取用户和现场相关领域提供的半结构化或非结构化数据作为样本数据，遍历样本数据，检查是否存在重复性数据，若是，则删除重复性数据，否则进入步骤1.12；

步骤1.12、删减数据量极少的属性列。