[发明专利]自动分割文本的方法、系统和存储介质有效
申请号: | 201811197349.3 | 申请日: | 2018-10-15 |
公开(公告)号: | CN110096576B | 公开(公告)日: | 2023-10-27 |
发明(设计)人: | S·海恩德拉夫;N·利普卡 | 申请(专利权)人: | 奥多比公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/35;G06N3/044;G06N3/045;G06N3/08 |
代理公司: | 北京市金杜律师事务所 11256 | 代理人: | 酆迅 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自动 分割 文本 方法 系统 存储 介质 | ||
1.一种用于分割来自从电子源可获得的指令手册的文本内容的方法,其中所述方法涉及执行操作的计算系统,所述操作包括:
接收包括训练标签和从所述指令手册可获得的步骤的训练数据,其中每个步骤包括由所述训练标签注释的一个或多个子步骤,其中训练标签标识子步骤是否表示步骤的开始;
基于所述训练数据和损失函数来训练预测模型,所述训练包括:
通过所述预测模型来生成所述子步骤是否是所述步骤的所述开始的预测,以及
基于所述预测与所述训练标签的比较来最小化所述损失函数;
在所述训练完成时,标识多个电子源;
基于所述预测模型来为所述多个电子源中的每个电子源生成指示特定步骤的开始的开始指示符;以及
响应于来自客户端设备的、关于对象的查询而提供从所述开始指示符生成的步骤。
2.根据权利要求1所述的方法,还包括:
通过所述计算系统并且从所述电子源生成包括所述开始指示符的索引;
通过所述计算系统并且按照所述索引将从所述客户端设备接收的查询与具有关于对象的指令的所述电子源之一进行匹配;
通过所述计算系统并且在所述电子源内检索与所述查询相对应的步骤;以及
通过所述计算系统向所述客户端设备提供所述电子源。
3.根据权利要求1所述的方法,其中每个子步骤包括由所述训练标签注释的一个或多个子子步骤,并且其中所述训练标签还标识子子步骤是否是子步骤的所述开始,所述方法还包括:
通过所述计算系统来训练分类模型,以预测针对查询的粒度级别;
通过所述计算系统,基于所述训练数据和附加损失函数来训练附加预测模型,所述训练至少通过:
通过所述附加预测模型来生成所述子子步骤是否是所述子步骤的所述开始的附加预测,以及
基于所述附加预测与所述训练标签的比较来最小化所述附加损失函数;以及
响应于确定所述粒度级别是对应于子步骤还是子子步骤,利用所述预测模型或所述附加预测模型来生成预测。
4.根据权利要求1所述的方法,其中所述训练标签还标识子步骤是否表示所述步骤的结束,并且所述查询是对特定子步骤的请求,并且其中所述多个电子源基于所述查询而被标识,所述方法还包括:
通过所述计算系统,基于所述训练数据和附加损失函数来训练附加预测模型,所述训练至少通过:
通过所述附加预测模型生成所述子步骤是否是所述步骤的所述结束的附加预测,以及
基于所述附加预测与所述训练标签的比较来最小化所述附加损失函数;以及
基于所述预测模型和所述附加预测模型来生成教程的特定步骤。
5.根据权利要求4所述的方法,还包括:
基于所述查询来检测标识所述查询是否调用一个数目的子步骤的粒度级别;以及
响应于确定所述数目是一,仅使用所述预测模型来生成所述特定步骤。
6.根据权利要求1所述的方法,其中每个子步骤包括多个词,其中所述训练还包括:
通过所述计算系统将每个子步骤表示为一袋词向量,所述一袋词向量中的每个词向量表示所述多个词中的一个词;
通过所述计算系统并且针对所述一袋词向量,确定所有所述词向量中的最小向量、所述词向量中的最大向量和所述词向量的平均向量;
通过所述计算系统将所述最小向量、所述最大向量和所述平均向量连结成聚合语义向量;以及
通过所述计算系统向所述预测模型提供所述聚合语义向量。
7.根据权利要求6所述的方法,还包括:
针对每个子步骤,通过计算所述子步骤的所述聚合语义向量与前一子步骤的所述聚合语义向量之间的差异来计算差异向量;以及
向所述预测模型提供所述差异向量。
8.根据权利要求1所述的方法,其中所述电子源是以下之一:(i)非结构化文档或(ii)不包括指示步骤的开始的标签的结构化文档。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于奥多比公司,未经奥多比公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811197349.3/1.html,转载请声明来源钻瓜专利网。