[发明专利]一种文档处理方法、装置、设备及存储介质

说明书

本发明公开了一种文档处理方法、装置、设备及存储介质，该方法包括：确定需要检索的各文档分别为待检索文档；将各待检索文档分别输入至词权重模型中，得到所述词权重模型输出的相应待检索文档中各个词的词权重；将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中，以供基于所包含的各个词的词权重在所述知识库中实现待检索文档的检索；其中，所述词权重模型为预先利用多个文本及相应文本中各个词的词权重训练得到的。可见，对于需要检索的文档，本申请能够利用模型得到能够有效表示其中各个词的重要程度的词权重，进而在需要时基于得到的各个词的词权重实现相应文档的检索，能够有效提高信息检索准确率。

技术领域

本发明涉及信息处理技术领域，更具体地说，涉及一种文档处理方法、装置、设备及存储介质。

背景技术

随着信息爆炸时代的到来，海量的信息中混杂着大量无价值、不相关的信息，信息检索是查找重要、有价值信息的一项基础而又关键性的任务，通过信息检索，可以过滤掉与检索问题相关度低的信息，进而将最有用的信息展现出来。目前大多数检索方法使用的是基于分词频率的词权重实现信息检索，但是这种方式下实现的信息检索准确率较低。

发明内容

本发明的目的是提供一种文档处理方法、装置、设备及存储介质，能够有效提高信息检索准确率。

为了实现上述目的，本发明提供如下技术方案：

一种文档处理方法，包括：

确定需要检索的各文档分别为待检索文档；

将各待检索文档分别输入至词权重模型中，得到所述词权重模型输出的相应待检索文档中各个词的词权重；其中，所述词权重模型为预先利用多个文本及相应文本中各个词的词权重训练得到的；

将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中，以供基于所包含的各个词的词权重在所述知识库中实现待检索文档的检索。

优选的，利用多个文本及相应文本中各个词的词权重训练得到词权重模型，包括：

获取包含有多个相似对的数据集；其中，单个相似对中包含单个问题及与该单个问题对应的多个文档的文档标题；

对所述数据集中包含的各相似对做分词处理，并采用相似问题统计方式基于分词处理所得的结果确定各相似对包含的各问题中各个词的词权重；

利用所述数据集中各相似对包含的各问题以及各问题中各个词的词权重作为训练语料，并利用所述训练语料训练得到相应的词权重模型。

优选的，采用相似问题统计方式基于分词处理所得的结果确定各相似对包含的各问题中各个词的词权重，包括：

按照下列公式确定各相似对包含的各问题中各个词的词权重：

其中，q_t为问题q中的第t个词，S_qt为q_t的词权重，D为问题q所属相似对中包含的文档标题的集合，n及|D|均为集合D中文档标题的数量。

优选的，利用所述训练语料训练得到相应的词权重模型，包括：

利用所述训练语料对DeepCT模型进行训练，得到相应的词权重模型。

优选的，将各待检索文档分别输入至词权重模型中之前，还包括：

对各待检索文档进行统一编码、去除无效字符及建立索引的操作。

优选的，将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中之前，还包括：