[发明专利]文本主题确定方法及装置

说明书

本发明实施例提供文本主题确定方法及装置，涉及计算机应用技术领域。其中，第一种文本主题确定方法包括：获取待处理文本；针对各个候选主题,获取主题词在文本中的词频，以及，获取主题词与文本词之间的语义相似度；根据词频和语义相似度，确定文本分别与各个候选主题之间的相关度；根据相关度，确定文本的主题。本发明实施例提供的技术方案，不仅考虑文本和主题的语义信息，实现从语义角度进行主题的关联，还考虑主题词在文本中的词频信息，使得体现出主题词对于文本的重要程度；因此，可以有效提高主题准确性。

技术领域

本申请涉及计算机技术领域，具体涉及两种文本主题确定方法及装置。

背景技术

对于对话系统来说，一个重要的任务就是对用户的对话话语进行语言理解和意图的预测，从而根据用户的意图做出相应的回复和反馈。用户意图的发现，可以看作是从用户的对话文本中提取关键词或关联到某一个主题，所以意图发现问题可以对应到用户对话文本的主题关联或主题发现问题。

目前，一种常用的文本主题确定方法是基于LDA(Latent Dirichlet Allocation，潜在狄利克雷分配模型)主题模型的方法。然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：

1、LDA主题模型是以词袋法为基础，只考虑文档中词语的词频信息，忽略了词语本身的语义信息及和其他词语间的语义关联。所谓词袋法，是指使用0-1向量表征文本，0或1表征词表词汇在文本中的出现与否，例如，词表为：{我，你，昨天，今天，生病，吃药，了，的}，共8个词，而句子A分词后的序列为：{我，今天，生病，了}，则句子A可以用向量[1 0 0 1 1 01 0]来表示，1代表句子A中的词在词表中对应位置出现了。

2、LDA主题模型在短文本上的处理效果不理想。由于LDA是一种三层贝叶斯概率模型，在于发现词和词的共现规律，而短文本不利于统计词与词的共现规律。其中词与词的共现规律，是指某两个词或某些词一起出现的规律，或者某个词经常和另外某个词成对出现。这种规律在短文本中不容易统计，例如，在对话场景中，对话文本通常是较短的比较口语化的表达，如“吃了”，“是啊”，“现在好了”等，不太容易进行标准词汇的统计。由此可见，对于较短的用户对话文本，不适合采用LDA进行主题发现。

3、LDA主题模型将文档看成其隐含主题的混合，由于狄利克雷分布随机向量各分量间的弱相关性，使得假想的潜在主题之间也几乎是不相关的，这与很多实际问题并不相符。实际上，很多文档之间的不同主题可能会有近似的，例如，一篇文档的主题是足球相关，另一篇文档的主题是篮球相关，两者之间其实是近似主题，都是体育相关，而LDA假设两者主题完全独立。

由上述缺陷可见，现有技术存在主题准确率较低且不适用于确定短文本的主题的问题。

发明内容

本发明实施例提供两种文本主题确定方法及装置，用以解决现有技术存在主题准确率较低且不适用于确定短文本的主题的问题。

第一方面，本发明实施例中提供了一种文本主题确定方法，包括：获取待处理文本；针对各个候选主题,获取主题词在所述文本中的词频，以及，获取所述主题词与文本词之间的语义相似度，其中，所述主题词是指所述候选主题包含的词，所述文本词是指所述文本包含的词；根据所述词频和所述语义相似度，确定所述文本分别与各个所述候选主题之间的相关度；根据所述相关度，确定所述文本的主题。

结合第一方面，本发明在第一方面的第一种实现方式中，所述相关度采用如下公式确定：

其中，Si_q表示所述文本与第i个所述候选主题之间的所述相关度，fj表示所述第i个所述候选主题包括的第j个主题词在所述文本中的词频，S_{j_max}表示所述第j个主题词分别与所述文本包括的各个文本词之间的所述语义相似度的最大值，count(I)表示所述第i个所述候选主题包括的主题词的数量。