[发明专利]联合多视角字符嵌入的中文社交评论实体识别方法与装置

说明书

本发明提供一种联合多视角字符嵌入的中文社交评论实体识别方法与装置，涉及自然语言处理技术领域。包括：获取待识别中文社交评论实体的文本数据，并转换成字符序列和词级序列，输入到嵌入表示层得到多视角字符嵌入向量组和词级嵌入向量组，使用向量拼接方式拼接得到联合多视角字符嵌入向量组，将所述联合多视角字符嵌入向量组输入到序列建模层获取全局字符特征、局部字符特征、全局词特征和局部词特征，基于标签解码层，对所述全局字符特征、所述局部字符特征、所述全局词特征和所述局部词特征进行解码，获取标签序列。本方法通过原始语句中多视角字符嵌入和词级嵌入，有效解决了中文社交评论实体识别中字符替换和非正式表达等问题。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种联合多视角字符嵌入的中文社交评论实体识别方法与装置。

背景技术

信息技术的发展为人们的生活带来了很大的便利，但是每天巨大的信息量让人们目不暇接，对这些海量信息进行有效的信息提取和知识图谱构建有利于快速捕捉有用信息提高工作效率。对于信息识别和知识图谱构建，命名实体识别一直是重要的任务。而在中文互联网下，由于用户在中文社交评论当中的表达随意性，字符替换和非正式表达是普遍存在的问题。而现有的命名实体识别的方法针对中文社交评论中存在的字符替换和非正式表达等问题，尚不能给出很好的解决方案。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种联合多视角字符嵌入的中文社交评论实体识别方法与装置，解决了现有技术针对中文社交评论当中的实体字符替换和非正式表达等问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供了一种联合多视角字符嵌入的中文社交评论实体识别方法，所述方法包括：

获取待识别中文社交评论实体的文本数据，并将所述中文社交评论实体的文本数据转换成字符序列和词级序列；

将所述字符序列输入到嵌入表示层得到所述字符序列的多视角字符嵌入向量组；

将所述词级序列输入到嵌入表示层得到所述词级序列的词级嵌入向量组；

将所述多视角字符嵌入向量组与所述词级嵌入向量组使用向量拼接方式组合得到联合多视角字符嵌入向量组；

将所述联合多视角字符嵌入向量组输入到序列建模层获取全局字符特征、局部字符特征、全局词特征和局部词特征；

基于标签解码层，对所述全局字符特征、所述局部字符特征、所述全局词特征和所述局部词特征进行解码，获取标签序列。

优选地，所述将所述字符序列输入到嵌入表示层得到所述字符序列的多视角字符嵌入向量组，包括：使用多种嵌入方法从字符的多个视角提取字符特征；

所述多种嵌入方法包括字符嵌入、拼音嵌入、部首嵌入、字形嵌入；将利用所述字符嵌入、拼音嵌入、部首嵌入、字形嵌入得到的向量进行连接得到所述多视角字符嵌入向量组。

优选地，所述字符嵌入包括：基于BERT模型对所述待识别中文社交评论实体的文本数据进行编码，获取字符嵌入。

优选地，所述拼音嵌入包括：使用Python中的xpinyin库将所述待识别中文社交评论实体的文本数据中的汉字转化成拼音；使用word2vec模型提取所述拼音的拼音嵌入；基于所述拼音嵌入，利用全连接层提取基于上下文特征的拼音向量。

优选地，所述部首嵌入包括：从中文字符字典中查找待识别中文社交评论实体的文本数据中每个字符的部首；使用word2vec模型提取所述部首的部首嵌入；基于所述部首嵌入，利用全连接层提取基于上下文特征的部首向量。