[发明专利]一种模型训练、语料处理方法、装置以及计算机设备在审
申请号: | 202011019127.X | 申请日: | 2020-09-24 |
公开(公告)号: | CN112052678A | 公开(公告)日: | 2020-12-08 |
发明(设计)人: | 张文瑜 | 申请(专利权)人: | 大众问问(北京)信息科技有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/253;G06F40/30;G06N20/00 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100098 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 语料 处理 方法 装置 以及 计算机 设备 | ||
1.一种模型训练方法,其特征在于,包括:
获取分词样本之间存在依存关系的语料样本数据;
将所述语料样本数据输入至预设机器学习模型中进行依存关系分析训练,得到依存关系分析模型;
所述依存关系分析模型用于对异常语料进行异常筛选处理。
2.根据权利要求1的所述的方法,其特征在于,所述获取分词样本之间存在依存关系的语料样本数据,包括:
获取标准语料样本数据;
对所述标准语料样本数据进行分词处理,得到分词样本数据;
对所述分词样本数据进行词性标注处理,得到词性标注结果样本数据;
根据所述词性标注结果样本数据确定各所述分词样本数据中各分词样本之间的依存关系,得到所述语料样本数据。
3.根据权利要求2的所述的方法,其特征在于,所述根据所述词性标注结果样本数据确定各所述分词样本数据中各分词样本之间的依存关系,包括:
根据所述词性标注结果样本数据确定各所述分词样本的前后顺序关系和/或修饰关系;
根据各所述分词样本的前后顺序关系和/或修饰关系确定各所述分词样本之间的依存关系。
4.根据权利要求3的所述的方法,其特征在于,在所述根据各所述分词样本的前后顺序关系和/或修饰关系确定各所述分词样本之间的依存关系之后,还包括:
根据各所述分词样本之间的依存关系建立依存关系数据库。
5.根据权利要求2-4任一项的所述的方法,其特征在于,在所述将所述语料样本数据输入至预设机器学习模型中进行依存关系分析训练之前,还包括:
将所述分词样本数据输入至所述预设机器学习模型中进行分词训练;
将所述词性标注结果样本数据输入至所述预设机器学习模型中进行词性标注训练。
6.一种语料处理方法,其特征在于,包括:
获取待处理语料,并将所述待处理语料输入至依存关系分析模型;
通过所述依存关系分析模型对所述待处理语料进行依存关系分析;
根据所述依存关系分析模型的分析结果从所述待处理语料中确定异常语料;
其中,所述依存关系分析模型为通过权利要求1-5任一所述的模型训练方法训练得到的模型。
7.根据权利要求6的所述的方法,其特征在于,所述通过所述依存关系分析模型对所述待处理语料进行依存关系分析,包括:
通过所述依存关系分析模型对所述待处理语料进行分词处理,得到语料分词;
对所述语料分词进行词性标注处理,得到语料词性标注结果;
根据所述语料词性标注结果确定各所述语料分词之间的依存关系。
8.根据权利要求7的所述的方法,其特征在于,所述根据所述语料词性标注结果确定各所述语料分词之间的依存关系,包括:
根据所述语料词性标注结果确定各所述语料分词的前后顺序关系和/或修饰关系;
所述根据所述依存关系分析模型的分析结果从所述待处理语料中确定异常语料,包括:
将各所述语料分词的前后顺序关系和/或修饰关系与依存关系数据库中存储的依存关系进行匹配;
如果确定匹配成功,则将所述待处理语料标记为正常语料;
否则,将所述待处理语料标记为异常语料。
9.一种模型训练装置,其特征在于,包括:
语料样本数据获取模块,用于获取分词样本之间存在依存关系的语料样本数据;
依存关系分析训练模块,用于将所述语料样本数据输入至预设机器学习模型中进行依存关系分析训练,得到依存关系分析模型;
所述依存关系分析模型用于对异常语料进行异常筛选处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于大众问问(北京)信息科技有限公司,未经大众问问(北京)信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011019127.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种连接稳定汽车轴用弹簧
- 下一篇:按键值的触控方法、装置、终端和存储介质