[发明专利]基于条件随机场的中英文混合命名实体识别方法及系统

权利要求书

1.一种基于条件随机场的中英文混合命名实体识别方法，所述方法包含：

步骤101）用于将用户的查询语音信息转换为文本信息的步骤；

步骤102）用于基于有限状态机将文本信息分离为中文单字和英文单词的步骤；

步骤103）用于对分离词汇的文本进行特征提取的步骤；

步骤104）用于根据特征提取的结果并采用训练的CRF模型对分离的单字或单词进行实体识别，标记出实体类别；

其中，所述CRF模型为线性链结构的条件随机场模型。

2.根据权利要求1所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述步骤102）进一步包含：

步骤102-1）对中英文进行字符分离；

步骤102-2）用有限状态机进行英文词串的识别，即合并相邻的英文字母、空格以及英文中的符号；

步骤102-3）对英文词串进行分词。

3.根据权利要求1所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述特征提取包含：

当前字或者英文单词是否是中国人名和姓氏常用字字典中的单字；

当前字或者英文单词是否是人名或者影视名的左右指界单字或者双字；

当前字或者英文单词是否是英文单词，

其中，所述的特征提取还包含提取上述特征之间的组合特征以及上下文特征。

4.根据权利要求1所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述步骤104）具体采用如下策略得到实体类别：

用线性链条件随机场进行序列标注，其中用L-BFGS算法进行CRF模型参数估计，用维特比解码算法得到最优的标注序列，最后从最优的标记序列中得到实体类别。

5.一种基于条件随机场的中英文混合命名实体识别系统，所述系统包含：

转换模块，用于将用户的查询语音转换为文本；

预处理模块，用于将文本进行中文分字和英文分词；

特征提取模块，用于对分离字符的文本进行特征提取；

类型判断识别模块，用于根据特征提取的结果并采用训练的CRF模型对文本进行实体识别，标记出实体类别；

其中，所述CRF模型为线性链结构的条件随机场模型。

6.根据权利要求5所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述预处理模块进一步包含：

第一处理子模块，用于对文本信息进行字符的分离；

第二处理子模块，用于基于有限状态机的方法对分离的英文字符进行英文词串的识别，即合并相邻的英文字母、空格以及英文中的符号；

第三处理子模块，用于对英文词串进行分词。

7.根据权利要求5所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述特征提取包含：

当前字或者英文单词是否是中国人名和姓氏常用字字典中的单字；

当前字或者英文单词是否是人名或者影视名的左右指界单字或者双字；

当前字或者英文单词是否是英文单词，

其中，所述的特征提取还包含提取上述特征之间的组合特征以及上下文特征。

8.根据权利要求5所述的基于条件随机场的中英文混合命名实体识别方法，其特征在于，所述类型判断识别模块进一步包含：

CRF模型建立子模块，用于采用L-BFGS算法得到CRF模型参数，即得到训练好的CRF模型；

类型标记子模块，用于基于构建的CRF模型依据采用人工搜集各种该限定领域的查询说法，其中也包括中英文混合的说法，然后进行人工标注，对CRF进行训练；其中，训练工具使用的是开源工具CRF++，训练步骤包括：首先按照训练文本的格式进行特征提取；选择单字作为研究对象进行特征提取，当进行特征选择时，分别基于单个特征及其上下文特征，加入了各个特征之间的组合特征，最后训练CRF会得到一个模型文件，基于该模型文件进行类型标注；

解码子模块，对需要进行实体识别的文本，采用和类型标记子模块的训练过程一致的特征提取，然后用训练好的模型进行测试，Viterbi算法进行解码，得到对于每个字的标注结果。