[发明专利]一种基于行业规则和TextCNN模型的通用工程信息提取的方法

说明书

本发明涉及一种基于行业规则和TextCNN模型的通用工程信息提取的方法，包括以下步骤：对工程招标文件内容中的主要工程信息进行标注，训练一个textCNN深度学习模型，实现对未标注的工程招标文件中的主要工程信息的识别与提取；对样本数据进行预处理，使用BRAT或YEDA文本标注工具，将关键信息标注出来；利用embedding层，将每个词转成相同长度的向量；接入卷积层；接着是池化层，使用max pooling，取每个特征图的最大值作为输出；最后是softmax层，输出层设为多个神经元。采用TextCNN的方式进行信息提取，其结构很简单，参数也较少，非常适合行业内的场景中只有关键信息部分的语序需要考虑的问题。

技术领域

本发明涉及一种一种基于行业规则和TextCNN模型的通用工程信息提取的方法，属于软件技术领域。

背景技术

现有的工程主要信息识别与提取技术几乎都是通过正则方式，不同的工程信息使用不同的匹配规则，从工程招标内容中依次获取。虽然工程招标文件内容格式具有强规则特点，但传统的正则方式依然会导致下列问题：1、需要花费大量时间研究招标文件，设计匹配规则；2、无法利用语义信息获得所需信息；3、具有较高的遗漏率；4、针对新的内容需要不断维护和更新匹配规则，进而规则系统将越来越复杂，规则之间也会相互依赖，最终出现无法匹配的情况出现。

发明内容

本发明的目的是为了解决上述问题，提供一种基于行业规则和TextCNN模型的通用工程信息提取的方法。

为了实现上述目的，本发明的技术方案如下，一种基于行业规则和TextCNN模型的通用工程信息提取的方法，包括以下步骤：

（1）通过对工程招标文件内容中的主要工程信息进行标注，训练一个textCNN深度学习模型，实现对未标注的工程招标文件中的主要工程信息的识别与提取。

（2）先对样本数据进行预处理，包括但不限于去除标点，英文，分词等操作。

（3）使用BRAT或YEDA文本标注工具，将关键信息标注出来。

（4）先利用embedding 层，将每个词转成相同长度的向量，这样就将文本转换成了矩阵的形式。

（5）然后接入卷积层，filter 的长度可自定义，宽度等于词向量的长度。这样处理，每次计算 n 个词向量的卷积，类似于 n-gram 模型，考虑了多个词之间的顺序信息。

（6）接着是池化层，使用max pooling，取每个特征图的最大值作为输出。

（7）最后是softmax 层，由于是多分类问题，输出层设为多个神经元。

有益效果：

本发明的信息提取方法可以让业务人员更全面的了解工程信息，从而判断是否存在商机可能性以及去现场谈判的必要性，替代了传统的查询政府官网的建筑类信息，已有的工地承包商和人工走访工地的方式，减少了业务人员的时间精力消耗以及交通费；使用TextCNN的方式进行信息提取，其结构很简单，参数也较少，非常适合行业内的场景中只有关键信息部分的语序需要考虑的问题，TextCNN通过合理的filter设置恰好可以做到这一点。可以自动提取关键信息 不需要匹配标签等强匹配。

附图说明

图1为本发明的流程图。

具体实施方式

为了加深对本发明的理解，下面结合具体实施例做详细的说明。

如图1所示，为本发明的流程图，本发明公开的一种基于行业规则和TextCNN模型的通用工程信息提取的方法，包括以下步骤：