[发明专利]语料清洗方法、装置、设备及介质有效
| 申请号： | 201811326771.4 | 申请日： | 2018-11-08 |
| 公开（公告）号： | CN109739956B | 公开（公告）日： | 2020-04-10 |
| 发明（设计）人： | 王靖淞;邢少敏 | 申请（专利权）人： | 第四范式（北京）技术有限公司 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F16/35;G06N3/04;G06N3/08 |
| 代理公司： | 北京铭硕知识产权代理有限公司 11286 | 代理人： | 曾世骁;苏银虹 |
| 地址： | 100085 北京市海淀区上*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种语料清洗方法、装置、设备及介质，包括：获取句向量提取模型结构，句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；从作为待清洗问答对的全部语料之中提取至少一部分语料；获取至少一部分语料的标注结果；基于至少一部分语料及其标注结果构成的训练集来训练分类模型，分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估语料是否适于作为问答对使用；以及利用训练出的分类模型，从全部语料之中的未标记语料筛选出适于作为问答对使用的语料。由此，通过少量的人工标注，就可以得到大量、质量较高的语料。 | ||
| 搜索关键词： | 语料 清洗 方法 装置 设备 介质 | ||
【主权项】：
1.一种语料清洗方法，包括：获取句向量提取模型结构，其中，所述句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；从作为待清洗问答对的全部语料之中提取至少一部分语料；获取所述至少一部分语料的标注结果，其中，所述标注结果指示语料是否适于作为问答对使用；基于所述至少一部分语料及其标注结果构成的训练集来训练分类模型，其中，所述分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估所述语料是否适于作为问答对使用；以及利用训练出的分类模型，从所述全部语料之中的未标记语料筛选出适于作为问答对使用的语料。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于第四范式（北京）技术有限公司，未经第四范式（北京）技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811326771.4/，转载请声明来源钻瓜专利网。
