[发明专利]基于中文bert模型智能机器人的实现方法和系统在审
申请号: | 202110655974.3 | 申请日: | 2021-06-11 |
公开(公告)号: | CN113553405A | 公开(公告)日: | 2021-10-26 |
发明(设计)人: | 李法来;金震;熊婷;陆衡;张海平 | 申请(专利权)人: | 中国农业银行股份有限公司浙江省分行 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F40/194;G06F40/211;G06F40/289;G06K9/62 |
代理公司: | 浙江杭知桥律师事务所 33256 | 代理人: | 陈丽霞 |
地址: | 310000 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 中文 bert 模型 智能 机器人 实现 方法 系统 | ||
本发明涉及智能语音机器人,公开了基于中文bert模型智能机器人的实现方法和系统,bert模型作为目前最强的中文预训练模型,其性能表现在NLP领域刷新的多个记录,相比传统的w2v等方法可以产生更精确的特征表示,从而提高模型性能。此外采用了相应的银行数据比如包含银行热词的文本对模型进行微调,从而进一步提升了模型的效果。通过微调以后的bert模型得到的文本相似度匹配和情感倾向性分析模型的效果更加准确。在传统垂直领域的一问一答机器人的基础上添加了多轮问答的机制,互动性更强;在问答文本相似度匹配的基础上添加了词性规则,可以通过人工维护不断完善,准确率更高灵活性更强。
技术领域
本发明涉及智能语音机器人,公开了基于中文bert模型智能机器人的实现方法和系统。
背景技术
随着人工智能的快速发展,聊天机器人开始受到越来越多的关注,人们认为如果计算机能够像人类一样用自然语言进行交流,那么就被认为是具有人工智能。现有的聊天机器人包括生成式聊天机器人和匹配式聊天机器人等,也可分为开放领域和垂直领域的聊天机器人,在开放语境下,用户可以和聊天机器人聊任何话题,在封闭语境下只能聊机器人已经设定好的内容,属于垂直领域类主题的聊天机器人。
开放聊天机器人一般都采用生成式的聊天机器人,在接受到用户输入句子后,采用一定技术手段自动生成一句话作为回应,局限性在于对语料的要求非常高,需要无数的话题以及与之匹配的问答规模,在于生成应答句子质量很可能会存在问题,比如可能存在语句不通顺、存在句法错误等看上去比较低级的错误。
垂直聊天机器人一般采用匹配式的聊天机器人,相比开放机器人相对更加简单实用。首先准备好一个问答库,对问题进行匹配识别以及生成答案。然后进行意图识别意图分类,通过类似命名实体识别的方法对意图进行推理并匹配相应的答案。对于现有技术中的垂直聊天机器人其意图匹配的聊天机器人需要足够体量的语料进行标注训练,且中文场景中大段文字属性的内容抽取难度较高;而问答匹配的聊天机器人往往是一一对应的,自身难以支持多轮的问答,只能进行一对一的单句问答匹配。
例如专利名称:一种汇票交易机器人;专利申请号:CN201811002572.8,专利申请日:2018-08-30,专利公开了,一种汇票交易机器人的信息分类系统,主要涉及人工智能自然语言处理领域。包括能够从聊天信息中提取与票据相关的文本信息要素,通过提取的要素,将用户输入的信息分为:查询行号类信息、计算类信息、制单类信息、询价信息、其他,如果识别中出错或均不符合以上信息分类,则不改变聊天信息原文,并将转化后的信息或聊天信息原文传给买票识别系统。
发明内容
本发明针对现有技术的聊天智能机器人其难以支持多轮问答的缺点,提供了基于中文bert模型智能机器人的实现方法和系统。
为了解决上述技术问题,本发明通过下述技术方案得以解决:
基于中文bert模型智能机器人的实现方法,其方法包括,
数据集准备,对规则数据集和闲聊数据集进行准备从而形成数据文本;
数据文本分词,通过分词器对数据文本进行分词;
嵌入向量化,通过bert模型从分词后的文本数据中提取特征,进行单词和句子嵌入向量化;
相似度阈值获取,通过余弦相似度获取嵌入向量化后单词和句子的相似度阈值;
聊天判断,依据相似度阈值通过NLP判断,从而进行不同的聊天模式。
作为优选,聊天判断包括NLP规则层判断和NLP闲聊层判断。
作为优选,NLP规则层包括词性规则、文本相似度规则或情感倾向性规则。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司浙江省分行,未经中国农业银行股份有限公司浙江省分行许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110655974.3/2.html,转载请声明来源钻瓜专利网。