[发明专利]一种停用词挖掘方法、装置、电子设备及存储介质

说明书

本申请涉及计算机技术领域，尤其涉及一种停用词挖掘方法、装置、电子设备及存储介质，获取跟踪到的眼部针对文本的阅读行为数据，其中，所述阅读行为数据至少包括在文本上的各注视位置、各注视位置的注视时长、注视位置序列；分别确定各注视位置在文本上对应的词语，并根据注视位置序列，确定对应的词语序列；根据确定出的各词语、所述词语序列和各注视位置的注视时长，分别计算所述各词语的权重值；根据所述各词语的权重值，确定停用词集，这样，基于阅读对象对文本的感知能力或注意力，计算权重值，从而收集停用词，可以提高停用词挖掘的准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种停用词挖掘方法、装置、电子设备及存储介质。

背景技术

在信息检索和自然语言处理等相关任务中，停用词可以过滤掉，停用词通常出现的比较频繁且没有实际意义，过滤掉停用词可以节省存储空间，提高搜索效率和准确性。

现有技术中，停用词的挖掘方式主要是基于词频统计，根据词频统计结果确定权重值，取权重值较小的构成停用词集，但是这种方式主要利用词频统计，得到的停用词准确性较低。

发明内容

本申请实施例提供一种停用词挖掘方法、装置、电子设备及存储介质，以提高停用词挖掘的准确性。

本申请实施例提供的具体技术方案如下：

本申请一个实施例提供了一种停用词挖掘方法，包括：

获取跟踪到的用户眼部针对文本的阅读行为数据，其中，所述阅读行为数据至少包括在文本上的各注视位置、各注视位置的注视时长、注视位置序列；

分别确定各注视位置在文本上对应的词语，并根据注视位置序列，确定对应的词语序列；

根据确定出的各词语、所述词语序列和各注视位置的注视时长，分别计算所述各词语的权重值；

根据所述各词语的权重值，确定停用词集。

本申请另一个实施例提供了一种停用词挖掘装置，包括：

获取模块，用于获取跟踪到的用户眼部针对文本的阅读行为数据，其中，所述阅读行为数据至少包括在文本上的各注视位置、各注视位置的注视时长、注视位置序列；

第一确定模块，用于分别确定各注视位置在文本上对应的词语，并根据注视位置序列，确定对应的词语序列；

计算模块，用于根据确定出的各词语、所述词语序列和各注视位置的注视时长，分别计算所述各词语的权重值；

第二确定模块，用于根据所述各词语的权重值，确定停用词集。

结合本申请另一个实施例，根据确定出的各词语、词语序列和各注视位置的注视时长，分别计算所述各词语的权重值时，计算模块具体用于：

根据确定出的各词语、所述词语序列和各注视位置的注视时长，建立有向有环图，所述有向有环图中每个节点分别为确定出的各词语、节点大小为注视时长、每个节点根据词语序列进行连接，所述有向有环图中相连接的词语之间的连接边的长度为对应的在所述文本中的距离；

确定所述各词语在所述有向有环图中相连接的节点数目，并确定所述各词语在所述文本中的文本权重；

根据各词语对应的文本权重、注视时长、相连接的节点数目，分别确定所述各词语的权重值，其中，所述文本权重、所述注视时长、所述相连接的节点数目均与所述权重值成正相关。

结合本申请另一个实施例，根据确定出的各词语、所述词语序列和各注视位置的注视时长，建立所述有向有环图时，计算模块具体用于：

删除注视时长不小于预设时长的词语；