[发明专利]一种语料过滤方法及装置

摘要

本发明实施例公开了一种语料过滤方法及装置，本发明实施例方法包括对于待处理的每个语料，分别提取若干关键词并保存；对所保存的每个关键词生成对应的关键词向量；根据每个关键词对应的关键词向量，分别计算待处理的每个语料与其所提取出的每个关键词之间的关键词相关性值；获取目标关键词，确定对应的目标语料库；根据目标语料库中各语料的目标关键词的关键词相关性值，对目标语料库中不满足设定的目标关键词的关键词相关性值的取值要求的语料进行过滤。本发明实施例整个过程无需人工审核，语料过滤快速准确，缩短了语料到达用户时间。

主权项

一种语料过滤方法，其特征在于，包括：对于待处理的每个语料，分别提取若干关键词并保存；分别统计所保存的每个关键词与其它所保存的关键词在所有待处理的语料中共同出现的次数；依次以所保存的每个关键词为第一关键词，对每个与所述第一关键词共同出现过的第二关键词，根据其与所述第一关键词共同出现的次数进行排序；以每个所述第二关键词与所述第一关键词共同出现的次数为元素，根据所述排序的顺序，生成所述第一关键词对应的关键词向量，直至所保存的每个关键词都生成对应的关键词向量为止；根据所述每个关键词对应的关键词向量，分别计算待处理的每个语料与其所提取出的每个关键词之间的关键词相关性值；获取目标关键词，确定对应的目标语料库，所述目标语料库为提取出所述目标关键词的所有待处理的语料集合；根据所述目标语料库中各语料的目标关键词的关键词相关性值，对所述目标语料库中，不满足设定的目标关键词的关键词相关性值的取值要求的语料进行过滤；所述根据所述每个关键词对应的关键词向量，分别计算待处理的每个语料与其所提取出的每个关键词之间的关键词相关性值采用的公式如下：sim(D,Q)=Σi=1mWDi.WqiΣi=1m(WDi)2.Σi=1m(Wqi)2;]]>其中，sim(D,Q)为当前计算的语料与其所提取的关键词的关键词相关性值，D代表当前计算的语料的向量表示，Q代表当前计算的关键词对应的关键词向量，为当前计算的语料中与关键词向量对应的各词的词权重，为当前计算的关键词对应的关键词向量里的元素，m为关键词向量的维度。