[发明专利]实体词识别方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种实体词识别方法及装置。

背景技术

随着科学技术和互联网的快速发展，计算机和网络技术己经深入到人们工作、生活的方方面面。利用计算机来获取需要的信息也逐渐被人们采用，例如信息检索查询、计算机辅助翻译、自动问答等等。在计算机服务器的数据库中存储有一些实体词，例如产品名称、型号、公司名称、品牌名称等等。如果用户通过客户端输入的语句中包含该数据库中的实体词，则可以直接从服务器的数据库中查找对应的结果，例如对应的翻译结果、问答结果、检索结果，然后反馈给客户端。此种方式，对于已有实体词对应的结果，服务器可以快速反馈给客户端，从而可以提高系统的响应速度。另外，此种方式可以保证反馈数据的准确性，保证数据传输的有效性，避免用户通过客户端不断的发送检索、翻译等请求，从而减少服务器传输给客户端的数据量。

常见的服务器数据库中的实体词多通过人工搜集的方式获取，随着技术的不断发展，特别是在某些特殊领域，会不断产生新的实体词，采用人工搜集的方式往往无法及时对数据库中的实体词进行更新，在用户通过客户端向服务器发送检索、翻译等请求时，服务器便无法实现快速准确的响应，从而降低了响应速度。当用户无法得到准确或其期望的结果时，其往往会不断的发送新的请求，这就增加了服务器负担，同时增加了服务器的数据传输量。另外，通过人工搜集的方式来挖掘新的实体词需要耗费大量的工作量，增加人力成本。

发明内容

本发明实施例的目的是提供一种实体词识别方法及装置，能有效解决现有技术实体词识别效率低和成本高的问题。

为实现上述目的，本发明实施例提供了一种实体词识别方法，包括步骤：

收集结构化数据，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料；

将每一领域的语料进行训练后生成对应领域的第一实体词库；

通过大量文章对每一领域的第一实体词库进行验证生成第二实体词库，根据所述第二实体词库对实体词进行识别。

与现有技术相比，本发明公开的实体词识别方法通过收集结构化数据，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料；将每一领域的语料进行训练后生成对应领域的第一实体词库；通过大量文章对每一领域的第一实体词库进行验证生成第二实体词库，根据所述第二实体词库对实体词进行识别，有效解决了现有技术实体词识别效率低和成本高的问题，能自动识别实体词并更新词库。

作为上述方案的改进，所述实体词的类别包括人名、地名、公司和品牌。

作为上述方案的改进，对实体词识别包括对所述实体词进行类别、权重和所属领域的识别。

作为上述方案的改进，根据所述第二实体词库对实体词识别具体为：

根据所述第二实体词库，通过线性映射技术对所述实体词进行识别。

作为上述方案的改进，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料具体为：

通过大数据ETL技术对所述结构化数据进行初步过滤和精简后生成若干个领域的语料库。

作为上述方案的改进，通过大量文章对每一领域的第一实体词库进行验证生成第二实体词库具体为：

根据每一领域的第一实体词库，通过条件随机场对大量文章进行实体词之间的共现率训练，从而生成第二实体词库。

作为上述方案的改进，根据所述第二实体词库对实体词识别后还包括步骤：

将进行识别后的实体词通过词性语义引擎进行二次校验。

本发明实施例还提供了一种实体词识别装置，包括：

收集模块，用于收集结构化数据，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料；

第一实体词库生成模块，用于对每一领域的语料进行训练后生成对应领域的第一实体词库；

识别模块，用于通过大量文章对每一领域的第一实体词库进行验证生成第二实体词库，根据所述第二实体词库对实体词进行识别。

与现有技术相比，本发明公开的实体词识别装置通过收集模块收集结构化数据，对所述结构化数据进行初步过滤和精简后生成若干个领域的语料，再通过第一实体词库生成模块将每一领域的语料进行训练后生成对应领域的第一实体词库，然后通过第二实体词库生成模块根据大量文章对每一领域的第一实体词库进行验证生成第二实体词库，根据所述第二实体词库对实体词进行识别，有效解决了现有技术实体词识别效率低和成本高的问题，能自动识别实体词并更新词库。

作为上述方案的改进，所述实体词的类别包括人名、地名、公司和品牌。