[发明专利]文本处理方法及装置

说明书

本申请公开了一种文本处理方法及装置。该方法包括获取短文本语料，按照预设格式部署每条短文本并将所有所述短文本作为一个目标文档；统计所述目标文档中每个词出现的词频以及所述目标文档中所有词的词频总和；根据所述词频和所述词频总和，计算得到所述词的词权重。本申请解决了短文本处理效果不佳的技术问题。通过本申请可较好地识别出短文本中的重点词汇。此外，本申请适用于自然文本处理场景。

技术领域

本申请涉及文本处理领域，具体而言，涉及一种文本处理方法及装置。

背景技术

自然语言处理中的短文本的特点是语句比较短、词汇量比较少。

发明人发现，对于短文本处理效果不佳。进一步，无法识别出短文本中的重点词汇。

针对相关技术中短文本处理效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种文本处理方法及装置，以解决短文本处理效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种文本处理方法。

根据本申请的文本处理方法包括：获取短文本语料，按照预设格式部署每条短文本并将所有所述短文本作为一个目标文档；统计所述目标文档中每个词出现的词频以及所述目标文档中所有词的词频总和；根据所述词频和所述词频总和，计算得到所述词的词权重。

进一步地，所述方法用于处理短文本中出现频率高但无意义词的权重。

进一步地，获取短文本语料，按照预设格式部署每条短文本并将所有所述短文本作为一个目标文档包括：获取短文本语料，按照每行部署一条短文本的格式部署每条短文本并将所有所述短文本作为一个目标文档。

进一步地，统计所述目标文档中每个词出现的词频以及所述目标文档中所有词的词频总和包括：统计所述目标文档中每个词出现的词频WF；统计所述目标文档中所有词的词频总和DF；根据所述词频和所述词频总和，计算得到所述词的词权重包括：计算词权重WW＝ln(DF/WF)。

进一步地，用于处理短文本中出现频率高但无意义词包括如下的一种或多种：语气词、助词、代词

为了实现上述目的，根据本申请的另一方面，提供了一种文本处理装置。

根据本申请的文本处理装置，包括：获取模块，用于获取短文本语料，按照预设格式部署每条短文本并将所有所述短文本作为一个目标文档；统计模块，用于统计所述目标文档中每个词出现的词频以及所述目标文档中所有词的词频总和；计算模块，用于根据所述词频和所述词频总和，计算得到所述词的词权重。

进一步地，用于处理短文本中出现频率高但无意义词的权重。

进一步地，所述获取模块，用于获取短文本语料，按照每行部署一条短文本的格式部署每条短文本并将所有所述短文本作为一个目标文档。

进一步地，所述统计模块用于，统计所述目标文档中每个词出现的词频WF；统计所述目标文档中所有词的词频总和DF；根据所述词频和所述词频总和，计算得到所述词的词权重包括：计算词权重WW＝ln(DF/WF)。

进一步地，用于处理短文本中出现频率高但无意义词包括如下的一种或多种：语气词、助词、代词。

在本申请实施例中文本处理方法及装置，采用获取短文本语料，按照预设格式部署每条短文本并将所有所述短文本作为一个目标文档的方式，通过统计所述目标文档中每个词出现的词频以及所述目标文档中所有词的词频总和，达到了根据所述词频和所述词频总和，计算得到所述词的词权重的目的，从而实现了可较好地识别出短文本中的重点词汇的技术效果，进而解决了短文本处理效果不佳的技术问题。

附图说明