[发明专利]一种基于统计与条件随机场的复杂中文地名识别方法

说明书

本发明公开了一种基于统计与条件随机场的复杂中文地名识别方法，包括如下步骤：首先通过爬取权威网站NGAC的地质文章标题数据，制作复杂地名语料库；随后根据复杂地名语料库进行字频以及词频的统计，生成关联性词典；然后记录待识别原文中的相邻词之间的关联性并通过与关联性阈值比较进行复杂地名的字词连接，最终将识别的地名进行输出；最后采用中国地名数据建立关联性字典，用复杂地名语料库制作训练数据和测试数据，训练复杂地名识别模型的阈值，并将所有关联性数值中的最小值作为新的阈值。本发明结构设计合理，本发明不仅能够对复杂地名进行识别，同时还具有很高的复杂地名识别准确率。

技术领域

本发明涉及地名识别技术领域，尤其涉及一种基于统计与条件随机场的复杂中文地名识别方法。

背景技术

地名是人们对特定空间位置的文本标识，是自然语言中最重要的一类地理信息实体。地名识别作为自然语言处理中命名实体识别的一个重要分支，是数字文本空间信息形式化最基础、最底层的工作，其准确性将直接影响到后续的地名地址识别、地理编码等工作的精准度和有效性。而中文地名的识别是针对中文语言环境下数字文本中的地理空间实体的提取。

农资成产企业分布广泛，其生产、存储、运输及销售过程中的数据具有海量、特征多样、信息量大、冗余度高以及更换环节多等特点。由于产品种类繁多，流通环节复杂，这些信息大多是以批次为单位，借助于云平台以文本记录的形式上传到网络，而且越接近消费者的流通环节越是如此。因此要实现单个产品的溯源，就需要使用中文地名提取技术，针对记录中非结构化的文本信息，准确提取出农资产品流通中的关键空间节点信息，结合后续的地名关系的提取技术，构建溯源过程中描述地址语义和空间转移特征的地名-关系图，并以此为基础，通过构建多层次的高可用性的溯源信息平台，实现地名-关系图的存储和分析，使用图挖掘以及深度学习技术，对地名-关系图的简化，消除地名地址歧义，明确物流中的各个空间转移环节，并结合相关的专家知识，在溯源过程中实现异常节点的实时监测和预警，及时发现和解决农资物流中的质量安全问题，从而为溯源信息系统提供可靠的技术支撑。

综合来看，中文地名识别作为产品溯源等基于位置信息的应用的最基本的环节，其识别精度直接影响了产品最终的的质量。而由于中文地名用字以、用字搭配的丰富性以及网络文本的复杂性，现有的识别技术在复杂地名、地名歧义以及地名简称等方面的识别效果还有待提高，因此针对中文地名识别技术的研究有着巨大的科研和社会生产实践价值。

发明内容

本发明的目的在于克服现有技术中存在的上述问题，提供一种基于统计与条件随机场的复杂中文地名识别方法，能够识别文字源中的复杂地名，并且能够准确地将文字源中的地名进行输出。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种基于统计与条件随机场的复杂中文地名识别方法，包括如下步骤：

S100、制作复杂地名语料库：通过爬取权威网站NGAC的地质文章标题数据，制作复杂地名语料库；

S200、生成关联性词典：根据复杂地名语料库进行字频以及词频的统计，生成关联性词典；

S300、复杂地名识别：记录待识别原文中的相邻词之间的关联性并通过与关联性阈值比较进行复杂地名的字词连接，最终将识别的地名进行输出；

S400、训练关联性阈值：采用中国地名数据建立关联性字典，用复杂地名语料库制作训练数据和测试数据，训练复杂地名识别模型的阈值，并将所有关联性数值中的最小值作为新的阈值。

优选地，上述基于统计与条件随机场的复杂中文地名识别方法中，步骤S200中生成关联性词典的具体步骤为：

S201、统计字频：从左到右扫描一遍复杂地名语料库，对于已经在词典中的字，将其计数加1，否则将该字加入词典，计数初始化为1；