[发明专利]问答语料生成方法及系统有效
申请号: | 201911258482.X | 申请日: | 2019-12-10 |
公开(公告)号: | CN111026834B | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 许建伟 | 申请(专利权)人: | 思必驰科技股份有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/332;G06F16/36 |
代理公司: | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人: | 黄谦;车江华 |
地址: | 215123 江苏省苏州市苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 问答 语料 生成 方法 系统 | ||
1.一种问答语料生成方法,包括:
接收语料文本;
检测所述语料文本的文本量,当所述文本量小于预设阈值时,确定所述语料文本的用于知识图谱的实体和属性;
基于所述实体和所述属性,查询与所述语料文本相匹配的正则表达式;
基于所述正则表达式确定所述语料文本的模糊说法,将所述模糊说法输入至知识图谱,按照倒排索引确定所述语料文本的对应文本,其中所述对应文本包括:回答文本和/或提问文本;
通过所述正则表达式对所述语料文本和所述对应文本进行语料生成,以构建多条成对的问答式对话语料。
2.根据权利要求1所述的方法,其中,当所述文本量大于预设阈值时,将所述语料文本划分为多个语料文本段;
分别提取各所述语料文本段的用于知识图谱的实体和属性;
基于所述实体和所述属性,查询与各所述语料文本段相匹配的多个正则表达式;
基于各所述正则表达式确定各所述语料文本段的模糊说法,将各所述模糊说法输入至知识图谱,按照倒排索引确定各所述语料文本段的对应文本,其中所述对应文本包括:回答文本或提问文本;
确定所述语料文本的语料简称,通过多条所述语料文本段和对应文本生成多条[提问文本,语料简称,回答文本]的三元组;
通过所述多个正则表达式对所述[提问文本,语料简称,回答文本]三元组进行语料生成,构建多条成对的问答式对话语料。
3.根据权利要求1所述的方法,其中,在所述查询与所述语料文本相匹配的正则表达式之后,所述方法包括,对所述正则表达式进行预处理,包括:
依次检测所述正则表达式的每个字符,当存在任一字符为预设通配符时,将所述为预设通配符的任一字符换成指定字符。
4.根据权利要求3所述的方法,其中,所述依次检测所述正则表达式的每个字符包括:
通过递归算法对所述正则表达式的每个字符进行逐个判断。
5.一种问答语料生成系统,包括:
语料接收程序模块,用于接收语料文本;
信息确定程序模块,用于检测所述语料文本的文本量,当所述文本量小于预设阈值时,确定所述语料文本的用于知识图谱的实体和属性;
正则表达式查询程序模块,用于基于所述实体和所述属性,查询与所述语料文本相匹配的正则表达式;
对应文本确定程序模块,用于基于所述正则表达式确定所述语料文本的模糊说法,将所述模糊说法输入至知识图谱,按照倒排索引确定所述语料文本的对应文本,其中所述对应文本包括:回答文本和/或提问文本;
问答语料生成程序模块,用于通过所述正则表达式对所述语料文本和所述对应文本进行语料生成,以构建多条成对的问答式对话语料。
6.根据权利要求5所述的系统,其中,所述信息确定程序模块还用于:当所述文本量大于预设阈值时,将所述语料文本划分为多个语料文本段;
信息确定程序模块,用于分别提取各所述语料文本段的用于知识图谱的实体和属性;
正则表达式查询程序模块,用于基于所述实体和所述属性,查询与各所述语料文本段相匹配的多个正则表达式;
对应文本确定程序模块,用于基于各所述正则表达式确定各所述语料文本段的模糊说法,将各所述模糊说法输入至知识图谱,按照倒排索引确定各所述语料文本段的对应文本,其中所述对应文本包括:回答文本或提问文本;
确定所述语料文本的语料简称,通过多条所述语料文本段和对应文本生成多条[提问文本,语料简称,回答文本]的三元组;
问答语料生成程序模块,用于通过所述多个正则表达式对所述[提问文本,语料简称,回答文本]三元组进行语料生成,构建多条成对的问答式对话语料。
7.根据权利要求5所述的系统,其中,所述系统还包括:正则表达式预处理程序模块,用于
依次检测所述正则表达式的每个字符,当存在任一字符为预设通配符时,将所述为预设通配符的任一字符换成指定字符。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司,未经思必驰科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911258482.X/1.html,转载请声明来源钻瓜专利网。