[发明专利]一种表征文档概念的平滑方法、系统及应用

说明书

本发明公开了一种表征文档概念的平滑方法、系统及应用，涉及语义网络技术领域。构建当前文档表征模型，所述当前文档表征模型为词袋模型；构建语义生成的文档表征模型；利用构建的所述当前文档表征模型和所述语义生成的文档表征模型，建立平滑的文档概念表征模型；利用建立的所述平滑的文档概念表征模型，抽取前m个概念表征文档本发明弥补了传统“词袋”模型的不足，提取出来的概念更加符合人为经验值；本发明不仅考虑了当前词频，也引入了当前词的相关概念，即模型具备语义关联关系，提取结果更加精确。本发明提高了后续信息检索的效率与准确度。

技术领域

本发明属于语义网络技术领域，尤其涉及一种表征文档概念的平滑方法、系统、接收用户输入程序存储介质、信息数据处理终端及计算机设备。

背景技术

目前，在互联网上“信息大爆炸”的大背景下，人们将越来越依赖信息处理系统帮助发现和组织信息。因此，对信息处理系统中的基于概念的表征模型以及检索方法进行深入地研究具有重要的理论意义和实用性价值。虽然构建一种能够描述自然语言中蕴含的语义信息的文本表征模型将是一个非常具有挑战性的任务，但是四十多年的这个领域研究工作为这个任务积累了坚实的基础。如传统的信息检索方法通常使用基于“词袋”的文本表征模型，这种模型在表征文本时存在很明显的缺陷。人类的自然语言是一个异常复杂的符号系统，词语之间存在包括同义、歧义、语义相关等错综复杂的关系。简单的“词袋”模型忽视了词语之间的丰富的语义关系，远远不能够表征自然语言中所蕴含的复杂的语义信息。把概念表征模型中蕴含的语义信息平滑融入到传统的信息检索方法中，提高信息检索系统的性能，使得查询检索过程更接近于人类信息检索的本质。

基于上述需求，本发明提供了一种表征文档概念的平滑方法。

通过上述分析，现有技术存在的问题及缺陷为：(1)传统“词袋”模型忽视了词语之间丰富的语义关系，不能够表征自然语言中所蕴含复杂地语义信息。而且现有技术提取出来的概念信息不符合人为经验值。(2)现有技术语义关联关系信息提取结果精确性差。(3)现有技术表征的语义信息的技术手段不能为后续信息检索提供的有效的准确数据依据。不能后续检索提高效率提供帮助。

解决以上问题及缺陷的难度为：由于词与词之间的关系是相似一定相关，但相关不一定相似，所以词语间的相关度计算是比较困难的。

解决以上问题及缺陷的意义为：能够更准确的提取文本的主题。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种表征文档概念的平滑方法、系统、接收用户输入程序存储介质、信息数据处理终端及计算机设备。所述技术方案如下：

根据本发明公开实施例的第一方面，提供一种表征文档概念的平滑方法，包括：

构建当前文档表征模型和语义生成的文档表征模型；

利用构建的所述当前文档表征模型和语义生成的文档表征模型，建立平滑的文档概念表征模型；获取经过平滑处理后的文档的概念值；

利用获取的所述的概念值，抽取前m个概念表征文档。

在一实施例中，所述构建当前文档表征模型具体包括：构建训练语料库，先对训练语料库进行分词、去停用词操作；表征词袋模型；计算式为：

式中，w(c/D)为文档D中概念c的权重，N为训练库总文档数，n(c)为包含概念c的文档数，0.5为归一化平滑系数，p(c/D)为文档D中概念c出现的概率，k₁＝1.2、b＝0.75分别为经验系数，Dl为文档D的长度，avergDl为训练语料库总文档的平均长度。

在一实施例中，所述构建语义生成的文档表征模型包括：