[发明专利]基于条件随机场的命名实体识别方法

说明书

本发明属于自然语言处理技术领域，涉及一种基于条件随机场的命名实体识别方法，该方法包括：接收包含中文文本的词语序列；词语序列中各词语按照其在原始语句的上下文顺序排列；使用命名实体识别网络的词向量模块将词语序列编码为词向量组；词向量组包含了各个词语的命名实体特征信息；使用命名实体识别网络的长短记忆网络模块提取词向量组中各个词向量的序列特征，并输出为命名实体分类空间的状态分数矩阵；使用命名实体识别网络的条件随机场模块查找状态分数矩阵中得分最高的分数路径作为词语序列中各词语的命名实体预测结果输出。本发明提供了一种高效的命名实体识别方法，特别是对财务票据图片中涉及的人名、组织机构名称和地点进行实体识别。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种命名实体识别系统和方法。

背景技术

为了在数量庞大的文本内容中找出指定的信息是自然语言处理中要面对的一个重要的技术问题。由于海量数据的出现，人工查找定位信息的工作量太过庞大，已经不符合人们的要求，运用计算机技术从海量数据中迅速定位相关信息的技术应运而生，自然语言处理作为定位信息的基本处理方法，近年来迅速成为研究焦点。

命名实体识别(NER)的主要任务是识别文本中有意义的专有名词及数量短语，如，人名、地名、组织名、时间、日期、货币等等，对于句法分析、语法分析、语义分析等都有着及其重要的影响；此外，命名实体识别又是信息抽取、信息过滤、信息检索、组块分析、问答系统、机器翻译等技术的重要基础。

英文命名实体识别技术目前已经达到了较高的水平，有些系统已经实用化。和英文命名实体识别相比，中文命名实体识别就要落后和困难很多。主要包括但是不限于：中文词没有空格分词，人名构成形式多样，中文语料匮乏，文档中的标点，文本格式等都会对命名实体产生影响。

与大多数的自然语言处理技术一样，命名实体识别的方法主要可以分为两大类:基于规则的方法和基于统计的方法。一般来说，基于规则的方法更接近人的思维方式，表示更直观自然，便于推理。但是规则的编写往往依赖于具体的语言和领域，其可移植性比较差，编写规则的过程也比较耗时耗力，而且规则很难编写完备，需要具体的领域专家及语言专家才能完成，总的性价比不高。和基于规则的方法相比，基于统计的方法就要灵活很多，其方法比较客观，不需要太多的人工干预及其领域知识，但在时空开销等性能方面存在问题。

发明内容

本发明综合考虑了上述现有技术方案的缺点，目的在于提供一种高效的命名实体识别方法，特别是对混合中文文本的财务票据图片中主要涉及的人名、组织机构名称和地点进行实体识别。

本发明提供的技术方案是一种基于条件随机场的命名实体识别方法，由处理器执行程序指令实现，所述程序指令包括由词向量(word2vec)模块、长短期记忆网络(LSTM)模块和条件随机场(CRF)模块组成的命名实体识别网络的实现指令。该方法包括：

接收包含中文文本的词语序列；所述词语序列中各词语按照其在原始语句的上下文顺序排列；

使用命名实体识别网络的词向量模块将所述词语序列编码为词向量组；所述词向量组包含了各个词语的命名实体特征信息；

使用命名实体识别网络的长短记忆网络模块提取所述词向量组中各个词向量的序列特征，并输出为命名实体分类空间的状态分数矩阵；

使用命名实体识别网络的条件随机场模块查找所述状态分数矩阵中得分最高的分数路径作为所述词语序列中各词语的命名实体预测结果。

优选的，对所述命名实体识别网络的训练包括：对所述词向量模块的训练；以及，对所述长短记忆网络模块和所述条件随机场模块的同时训练。