[发明专利]基于大数据的场景提取方法、装置、设备和存储介质

说明书

本发明实施例提供一种基于大数据的场景提取方法、装置、设备和存储介质，该方法包括：在预先建立的语料库中提取用户的日志文本，日志文本包括用户在车辆内至少一个操作场景中的操作信息；对日志文本内的语句进行分词处理，将每一个词通过预先建立的词向量模型转化成词向量，其中词向量与用户的操作信息为一一对应的关系；根据词向量和预先训练得到的BiLSTM+CRF模型得到每个词向量的类别标签，所述BiLSTM+CRF模型用于表征词向量与类别标签的对应关系；根据每个词向量对应的类别标签对日志文本中的操作信息进行划分，得到场景操作序列。本发明实施例可以快速准确的从Beta测试中提取用户的常见场景操作序列和异常操作序列。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于大数据的场景提取方法、装置、设备和存储介质。

背景技术

Beta测试是一种验收测试，即是软件产品完成了功能测试和系统测试之后，在产品正式发布之前由大量用户所进行的软件测试活动，根据测试结果来判断相关软件是否满足用户需求，并根据测试时的用户的常见操作场景和操作行为来调整相关产品以更好的满足用户需求，因此，在Beta测试之后需要根据用户在测试时产生的操作数据提取操作场景，以复现操作场景和异常操作问题。

目前，由于用户在操作场景中的操作行为序列往往是一组连续的有关联的操作，因此，技术人员常用的场景提取方法是根据用户在测试时的操作行为序列，人工定位相应场景中的起始操作、中间操作、结束操作以及异常操作，得到用户在相应场景中的操作序列。

然而，这种人工提取的方法需要耗费大量的人力成本和时间成本，且提取准确率低。

发明内容

本发明实施例提供一种基于大数据的场景提取方法、装置、设备和存储介质，以解决现有技术中从Beta测试数据中提取用户常见操作场景和异常操作时效率低、准确率低以及提取成本高的问题。

本发明实施例的第一方面提供一种基于大数据的场景提取方法，包括：

在预先建立的语料库中提取用户的日志文本，所述日志文本包括用户在车辆内至少一个操作场景中的操作信息；

对所述日志文本内的语句进行分词处理，并将每一个词通过预先建立的词向量模型转化成词向量，其中，所述词向量与用户的操作信息为一一对应的关系；

根据所述词向量和预先训练得到的双向长短时记忆人工神经网络+条件随机场(BiLSTM+CRF)模型，得到每个词向量的类别标签，所述BiLSTM+CRF模型用于表征词向量与类别标签的对应关系；

根据每个词向量对应的类别标签，对所述日志文本中的操作信息进行划分，得到场景操作序列，以根据所述场景操作序列确定用户的操作场景。

可选地，所述类别标签包括操作场景的起始操作标签、中间操作标签、结束操作标签和系统操作标签；

所述根据每个词向量对应的类别标签，对所述日志文本中的操作信息进行划分，得到场景操作序列，包括：

选取任意一个起始操作标签对应的第一词向量；

获取所述中间操作标签对应的词向量中与所述第一词向量相关联的第二词向量，所述第二词向量的数量为0个或多个；

获取所述结束操作标签对应的词向量中与所述第一词向量或所述第二词向量相关联的第三词向量；

将所述第一词向量、所述第二词向量和所述第三词向量在所述日志文本中分别对应的操作信息确定为一个场景操作序列。

可选地，所述在预先建立的语料库中提取用户的日志文本之前，所述方法还包括：

将用户在驾驶时的所有操作信息转换成自然语言语句；

根据所述自然语言语句生成日志文本，并将所述日志文本存储到语料库中。