[发明专利]训练语料确定方法及装置

权利要求书

1.一种训练语料确定方法，其特征在于，包括：

获取待分析文本与至少一篇标准文本；

计算所述待分析文本与每一篇所述标准文本的雅克比相似度；

通过至少一种向量化计算，确定所述待分析文本与每一篇所述标准文本的相应的向量余弦相似度；

根据所述待分析文本与每一篇所述标准文本的雅克比相似度和所有的向量余弦相似度，确定所述待分析文本和每一篇所述标准文本的聚合相似度；

根据所述待分析文本和每一篇所述标准文本的聚合相似度，确定所述待分析文本是否作为训练语料。

2.如权利要求1所述的方法，其特征在于，所述通过至少一种向量化计算，确定所述待分析文本与每一篇所述标准文本的相应的向量余弦相似度的步骤，包括：

对所述待分析文本与每一篇所述标准文本进行至少一种向量化计算，得到所述待分析文本与每一篇所述标准文本的相应的向量化结果，并根据所述待分析文本与每一篇所述标准文本的相应的向量化结果，计算所述待分析文本与每一篇所述标准文本的向量余弦相似度。

3.如权利要求1或2所述的方法，其特征在于，所述通过至少一种向量化计算，确定所述待分析文本与每一篇所述标准文本的相应的向量余弦相似度的步骤，包括以下向量化计算中的任意一种或它们的任意组合：

通过Word2Vec对所述待分析文本与每一篇所述标准文本进行向量化计算，并根据向量化结果，计算所述待分析文本与每一篇所述标准文本的Word2Vec下的相应的余弦相似度；和/或

通过TF-IDF对所述待分析文本与每一篇所述标准文本进行向量化计算，并根据向量化结果，计算所述待分析文本与每一篇所述标准文本的TF-IDF下的相应的余弦相似度；和/或

通过LSI对所述待分析文本与每一篇所述标准文本进行向量化计算，并根据向量化结果，计算所述待分析文本与每一篇所述标准文本的LSI下的相应的余弦相似度。

4.如权利要求1所述的方法，其特征在于，所述根据所述待分析文本与每一篇所述标准文本的雅克比相似度和所有的向量余弦相似度，确定所述待分析文本和每一篇所述标准文本的聚合相似度的步骤，包括：

通过均值计算、或加权平均计算对所述待分析文本与每一篇所述标准文本的雅克比相似度和所有向量余弦相似度进行聚合，获得所述待分析文本和每一篇所述标准文本的聚合相似度。

5.如权利要求1所述的方法，其特征在于，所述根据所述待分析文本和每一篇所述标准文本的聚合相似度，确定所述待分析文本是否作为训练语料的步骤，包括：

比较所述待分析文本和每一篇所述标准文本的聚合相似度与第一阈值，如果有任一一个所述聚合相似度小于所述第一阈值，则将所述待分析文本作为训练语料；和/或

比较所述待分析文本和每一篇所述标准文本的聚合相似度的平均值与第二阈值，如果所述平均值小于所述第二阈值，则将所述待分析文本作为训练语料。

6.如权利要求1所述的方法，其特征在于，所述获取待分析文本与至少一篇标准文本的步骤，包括：

使用网络爬虫，从网络上爬取待分析文本。

7.如权利要求1所述的方法，其特征在于，所述获取待分析文本与至少一篇标准文本的步骤，包括：

对所述待分析文本进行预处理，其中，所述预处理包括中文分词和文本清晰处理。

8.一种训练语料确定装置，其特征在于，包括：

获取模块，用于获取待分析文本与至少一篇标准文本；

雅克比相似度模块，用于计算所述待分析文本与每一篇所述标准文本的雅克比相似度；

向量余弦相似度模块，用于通过至少一种向量化计算，确定所述待分析文本与每一篇所述标准文本的相应的向量余弦相似度；

聚合相似度模块，用于根据所述待分析文本与每一篇所述标准文本的雅克比相似度和所有的向量余弦相似度，确定所述待分析文本和每一篇所述标准文本的聚合相似度；

训练语料确定模块，用于根据所述待分析文本和每一篇所述标准文本的聚合相似度，确定所述待分析文本是否作为训练语料。