[发明专利]一种基于视觉对象引导的社交媒体短文本命名实体识别方法

说明书

本发明公开了一种基于视觉对象引导的社交媒体短文本命名实体识别方法，包括步骤：建立社交媒体短文本的文本描述数据集，并提供和文本描述相关的视觉图像数据；对视觉图像数据进行对象检测，并将检测出的视觉对象类别进行视觉词语义的提取；对原始文本描述进行语义提取，并对文本语义进行文本的特征提取；计算视觉词语义和文本特征的相似性，对视觉词语义进行加权求和；计算多模态语义与原始文本特征的相关性，得到最终的词语义向量；将最终的词语义向量输入到条件随机场中，进行实体边界和实体类别的识别，得到的结果为识别出的命名实体。本发明能够利用视觉对象信息进行实体类型的判定，对缺少语义信息的社交媒体短文本数据起到了补充作用。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于视觉对象引导的社交媒体短文本命名实体识别方法。

背景技术

命名实体识别是自然语言处理的一个基本问题，其目的在于从文本段中定位命名实体以及将命名实体划分到预定义好的类别(例如人名、地点名或组织机构名)。早期的命名实体识别方法基于传统的机器学习方法，需要大量手工设计的特征(例如词频，词序等)。还有一些方法利用外部资源(例如外部词典)进行命名实体的抽取。这些方法往往依赖于具体的任务场景或者外部资源的有效性，在很多特定场景下效果很差。

近年来，由于深度学习技术的兴起与成熟，尤其是神经网络在序列标注任务上的成功，基于双向LSTM和CRF(条件随机场)的序列标注模型在处理命名实体识别任务上超过了传统的机器学习方法或是利用外部资源的方法，在很多公开数据集上取得了最好的结果。这些方法主要关注在新闻领域数据的命名实体识别。和新闻领域的数据不同，在社交媒体领域(例如微博、推特等)的文本往往可以提供更加丰富的用户信息，方便进行重要事件、个人观点甚至是群组喜好的提取和分析。但是，社交媒体领域的命名实体识别具有以下两个技术难点：(1)社交媒体中的文本通常是短文本，对于提取其中的命名实体来说所需的信息量是不足够的，仅仅利用文本上的特点不足以对命名实体进行准确有效的识别。(2)社交媒体中的文本通常具有歧义现象，因为其中含有大量的俚语和多义词。

结合字符特征与词嵌入模型的词表示方法能够有效地识别社交媒体领域文本中的俚语和部分多义词，但是在短文本的数据集上由于语义欠缺而表现较差。多模态或跨模态表示方法在很多自然语言处理的任务上取得了很好的效果，结合图片特征能够有效的补充短文本中丢失的语义信息。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉对象引导的社交媒体短文本命名实体识别方法。本发明建立一个多模态命名实体识别数据集，通过分别提取文本数据特征和视觉对象特征来获取多模态的数据表示，采用多模态attention机制和门控gate机制对视觉信息进行过滤和筛选，最终将相关的视觉信息拼接到原始文本特征中，辅助对命名实体的识别过程。本发明能够利用视觉对象信息进行实体类型的判定，对缺少语义信息的社交媒体短文本数据起到了补充作用，同时利用attention机制和门控gate机制来过滤和筛选视觉信息，使得最终补充的信息与原有文本相关程度最大，在很大程度上提升了命名实体识别的效果。

本发明的目的能够通过以下技术方案实现：

一种基于视觉对象引导的社交媒体短文本命名实体识别方法，包括步骤：

建立社交媒体短文本的文本描述数据集，通过爬取社交媒体中文本附带的视觉图像，提供和文本描述相关的视觉图像数据；

基于视觉对象检测算法Faster RCNN对视觉图像数据进行对象检测，并对检测出的视觉对象类别进行视觉词语义的提取；

根据字符和词级别对原始文本描述进行语义提取，根据文本语义对文本进行特征提取；

计算视觉词语义和文本特征的相似性，利用相似性程度对视觉词语义进行加权求和；

根据加权求和结果计算多模态语义与原始文本特征的相关性，然后将加权求和后的多模态语义与原始文本特征进行拼接，得到最终的词语义向量；