[发明专利]一种文档处理方法、装置、设备及存储介质

权利要求书

1.一种文档处理方法，其特征在于，包括：

确定需要检索的各文档分别为待检索文档；

将各待检索文档分别输入至词权重模型中，得到所述词权重模型输出的相应待检索文档中各个词的词权重；其中，所述词权重模型为预先利用多个文本及相应文本中各个词的词权重训练得到的；

将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中，以供基于所包含的各个词的词权重在所述知识库中实现待检索文档的检索。

2.根据权利要求1所述的方法，其特征在于，利用多个文本及相应文本中各个词的词权重训练得到词权重模型，包括：

获取包含有多个相似对的数据集；其中，单个相似对中包含单个问题及与该单个问题对应的多个文档的文档标题；

对所述数据集中包含的各相似对做分词处理，并采用相似问题统计方式基于分词处理所得的结果确定各相似对包含的各问题中各个词的词权重；

利用所述数据集中各相似对包含的各问题以及各问题中各个词的词权重作为训练语料，并利用所述训练语料训练得到相应的词权重模型。

3.根据权利要求2所述的方法，其特征在于，采用相似问题统计方式基于分词处理所得的结果确定各相似对包含的各问题中各个词的词权重，包括：

按照下列公式确定各相似对包含的各问题中各个词的词权重：

其中，q_t为问题q中的第t个词，S_qt为q_t的词权重，D为问题q所属相似对中包含的文档标题的集合，n及|D|均为集合D中文档标题的数量。

4.根据权利要求3所述的方法，其特征在于，利用所述训练语料训练得到相应的词权重模型，包括：

利用所述训练语料对DeepCT模型进行训练，得到相应的词权重模型。

5.根据权利要求4所述的方法，其特征在于，将各待检索文档分别输入至词权重模型中之前，还包括：

对各待检索文档进行统一编码、去除无效字符及建立索引的操作。

6.根据权利要求5所述的方法，其特征在于，将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中之前，还包括：

对各待检索文档进行词频统计及词性标注，执行将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中的步骤，以供基于词频统计、词性标记及所包含各个词的词权重在所述知识库中实现待检索文档的检索。

7.根据权利要求6所述的方法，其特征在于，将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中之后，还包括：

获取需要实现检索的问题为当前问题，基于各待检索文档的词频统计、词性标记及所包含的各个词的词权重通过匹配式检索、交互式检索或者混合式检索在所述知识库中实现待检索文档的检索。

8.一种文档处理装置，其特征在于，包括：

文档确定模块，用于：确定需要检索的各文档分别为待检索文档；

权重确定模块，用于：将各待检索文档分别输入至词权重模型中，得到所述词权重模型输出的相应待检索文档中各个词的词权重；其中，所述词权重模型为预先利用多个文本及相应文本中各个词的词权重训练得到的；

文档存储模块，用于：将已得到所包含的各个词的词权重的各待检索文档均加入至知识库中，以基于所包含的各个词的词权重在所述知识库中实现待检索文档的检索。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述文档处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文档处理方法的步骤。