[发明专利]一种用于中文隐喻信息识别的方法

说明书

本发明公开了一种用于中文隐喻信息识别的方法，包括，S1、对互联网上文本信息组成的初始数据集进行分类提取关键词，根据隐喻词的规律自动生成不同类别的隐喻词字典；S2、对初始数据集中的第一个文本进行特征提取，并进行初步识别；S3、将提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；S4、重复步骤S2和S3，遍历初始数据集中所有的文本，获取所有文本的最终识别结果，将其组成隐喻词集，并用其对字典集中的字典进行更新、修正和去除冗余。优点是：利用三级判断，一方面对于明显的隐喻词快速判断，得出识别结果；另一方面增大召回，从而减少新生隐喻词的漏检和识别的错误。

技术领域

本发明涉及隐喻信息识别领域，尤其涉及一种用于中文隐喻信息识别的方法。

背景技术

近年来，随着互联网的日益蓬勃发展，网络信息安全，尤其是其中的内容安全，得到了越来越广泛的关注。网络平台为有害信息提供了平台，大量的敏感有害信息通过网络平台进行传播扩散，严重危害了网络信息安全。针对危害网络内容安全的行为研究越来越多，已经成为新的研究热点。为了逃避相关的安全审查和过滤检测，隐喻词成为利用自然语言处理技术来传播有害敏感信息的手段，隐喻词就是将安全审查和过滤检测技术敏感的词语用谐音词、拼音缩写等代替，一方面不影响正常理解，一方面又可以逃过检查。因为此对隐喻词的识别和挖掘至关重要。如何在海量的信息数据中，快速地准确地判断文本是否含有隐喻词并且获得伪装性的隐喻词在内容安全领域一直是极具挑战性的问题，涉及自然语言处理、数据挖掘、机器学习等多个学科的技术和方法。

现有的技术文献中，一般是基于字符串匹配的分词方法和基于统计的分词方法，对于已收录词库的词语分词结果误差较小，但对于一些新词效果不是很好，导致中文隐喻信息识别错误，进一步导致隐喻词的挖掘失败。

发明内容

本发明的目的在于提供一种用于中文隐喻信息识别的方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种用于中文隐喻信息识别的方法，所述方法包括如下步骤，

S1、对互联网上的文本信息组成的初始数据集进行分类提取关键词，并根据隐喻词的规律自动生成不同类别的隐喻词字典；

S2、对初始数据集中的第一个文本进行特征提取，并根据提取的特征进行初步识别；

S3、步骤S2识别失败后，将步骤S2中提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；

S4、重复步骤S2和S3，遍历所述初始数据集中所有的文本，获取所有文本的最终识别结果，并将其组成隐喻词集，使用隐喻词集对字典集中的字典进行更新、修正和去除冗余。

优选的，步骤S1具体包括如下内容，

S11、利用爬虫爬取新闻、微博、博客、水木社区以及视频网站弹幕中的文本信息作为初始数据集，所述初始数据集为S₀＝{s₁,s₂,…s_N}；

其中，s_i为所述初始数据集中的第i个文本，i＝1,2,…N；N为所述初始数据集中的文本总数；

S12、利用GBDT方法对文本进行分类，获取新闻类、BBS类、小说类和微博博客类；利用TF-IDF的特征结合命名实体识别和词性识别，从各个类中的文本里提取到不同内容类别方面相关的候选词；通过分析隐喻词的规律，根据汉语拼音缩写、英文缩写、语音替换、谐音替换、汉字的拆解和英文替换的方法由计算机根据候选词自动生成一批隐喻词，形成字典集，所述字典集为D₀＝[d₁,d₂,d₃,d₄]，