[发明专利]基于机器学习的句子距离映射方法、装置和计算机设备有效
申请号: | 201811437243.6 | 申请日: | 2018-11-28 |
公开(公告)号: | CN109740143B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 刘宇超;郭典;韩铃 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/247;G06F40/216;G06K9/62 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器 学习 句子 距离 映射 方法 装置 计算机 设备 | ||
1.一种基于机器学习的句子距离映射方法,其特征在于,包括以下步骤:
获取输入的单句语音信息;
将所述单句语音信息转换为单句文字信息;
对所述单句文字信息进行预处理,并查询预设的词向量库以获取所述预处理后的单句文字信息中各个单词对应的词向量,其中,所述预处理至少包括分词处理;
根据所述单句文字信息中各个单词对应的词向量,利用预设算法计算出所述单句文字信息与预设的标准单句的距离,其中所述预设的标准单句至少经过了分词处理;
将所述距离输入预设函数,映射出评分,其中所述预设函数通过训练数据训练得出,所述训练数据包括训练用单句、训练用标准单句、所述训练用单句与所述训练用标准单句的距离和人为对所述训练用单句与所述训练用标准单句的相似程度的评分;
所述根据所述单句文字信息中各个单词对应的词向量,使用预设算法计算出所述单句文字信息与预设的标准单句的距离的步骤,包括:
采用公式:
计算出所述单句文字信息与预设的标准单句的距离,其中,Distance(I,R)为单句I与单句R的距离;I为所述单句文字信息;R为所述预设的标准单句;|I|是所述单句文字信息所包含具有词向量的单词数;|R|是所述预设的标准单句所包含具有词向量的单词数;w是词向量;α为调整两个词向量间的余弦相似度的放大系数;max(α×CosDis(w,R))是计算单句R中所有词对应的词向量与单句I中的词向量w的余弦相似度中的最大值。
2.根据权利要求1所述的基于机器学习的句子距离映射方法,其特征在于,所述对所述单句文字信息进行预处理,并查询预设的词向量库以获取所述预处理后的单句文字信息中各个单词对应的词向量,其中,所述预处理至少包括分词处理的步骤,包括;
对所述单句文字信息进行分词处理,得到包含多个单词的单词序列;
通过查询预设的同义词库,判断所述单词序列中是否存在同义词组;
若存在同义词组,则将所述同义词组中所有单词替换为所述同义词组中的任意一个。
3.根据权利要求1所述的基于机器学习的句子距离映射方法,其特征在于,所述根据所述单句文字信息中各个单词对应的词向量,使用预设算法计算出所述单句文字信息与预设的标准单句的距离的步骤,包括:
采用公式:
,
满足
计算出所述单句文字信息与预设的标准单句的距离;其中Distance(I,R)为单句I与单句R的距离;I为所述单句文字信息;R为所述预设的标准单句;Tij为单句I中第i个词至单句R中的第j个词的权重转移量;di为第i个词在单句I中的词频;d’j为第j个词在单句R中的词频;c(i,j)为单句I中的第i个词与单句R中第j个词的欧氏距离;m为单句I中具有词向量的单词数量;n为单句R中具有词向量的单词数量;T为转移矩阵。
4.根据权利要求1所述的基于机器学习的句子距离映射方法,其特征在于,所述预设函数为一元二次方程,所述预设函数通过训练数据训练得出的步骤,包括:
建立一元二次方程f(x)=ax2+bx+c,其中x为代表句子距离的自变量,f(x)为代表映射评分的因变量;
获取数量为n的样本数据,将所述样本数据随机分为n/3组,其中每组具有3个样本数据,所述样本数据包括训练单句与标准单句的训练距离,以及与所述训练距离对应的人工评分结果,n为3的倍数;
将所述n/3组数据代入所述一元二次方程,得到n/3组参数a、b、c的值;
对所述n/3组参数a、b、c的值作均值处理,得到参数a、b、c的最终值。
5.根据权利要求1所述的基于机器学习的句子距离映射方法,其特征在于,所述预设的词向量库通过产生词向量工具word2vec训练得到,所述词向量库的获得方法包括:
使用word2vec工具的连续词袋模型,对预设的语料库中的单词进行词向量训练,以得到所述预设的词向量库,其中所述语料库是用于训练词向量的单词库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811437243.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种字符串纠错方法及装置
- 下一篇:一种不良词语的自动处理方法及系统