[发明专利]基于文本数据集的数据处理方法、装置及终端设备

权利要求书

1.一种基于文本数据集的数据处理方法，其特征在于，所述基于文本数据集的数据处理方法应用于特定群体人口监控系统，所述方法包括：

获取目标特定群体人口监控系统的登记源数据，并提取各个登记源数据中的有效关键词，得到各个登记源数据对应的关键词组；

基于各个关键词组中的有效关键词、以及预设的权重对照表生成各个关键词组对应的行为能力指数表征量；其中，所述权重对照表为各个有效关键词以及各个有效关键词对应的行为能力指数的对照表；

根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，并对各个数据类进行分块存储。

2.如权利要求1所述的基于文本数据集的数据处理方法，其特征在于，对于某个登记源数据，提取该登记源数据中的有效关键词的方法为：

在预设的关键词库中进行近似搜索，提取出该登记源数据中的候选关键词、以及所述关键词库中与各个候选关键词对应的目标关键词；

将各个候选关键词、以及与各个候选关键词对应的目标关键词输入至预设的匹配模型中，确定该登记源数据对应的有效关键词。

3.如权利要求2所述的基于文本数据集的数据处理方法，其特征在于，所述在预设的关键词库中进行近似搜索，提取出该登记源数据中的候选关键词、以及所述关键词库中与各个候选关键词对应的目标关键词，包括：

在预设的关键词库中进行近似搜索，若该登记源数据中的某一关键词与所述关键词库中某一关键词之间的相似度大于预设值，则将该关键词作为候选关键词，将与该关键词对应的所述关键词库中的关键词作为目标关键词。

4.如权利要求2所述的基于文本数据集的数据处理方法，其特征在于，所述预设的匹配模型为概率神经网络模型；

所述将各个候选关键词、以及与各个候选关键词对应的目标关键词输入至预设的匹配模型中，确定该登记源数据对应的有效关键词，包括：

S41：任选一候选关键词，将该候选关键词、以及与该候选关键词对应的目标关键词输入至预设的匹配模型中，得到该候选关键词与该目标关键词之间的匹配概率；

S42：若所述匹配概率大于预设概率值，则将该目标关键词作为有效关键词；若所述匹配概率不大于预设概率值，则删除该候选关键词；

S43：若已遍历所有候选关键词，则将步骤S42中得到的各个有效关键词作为该登记源数据对应的有效关键词；

若未遍历所有候选关键词，则返回执行步骤S41。

5.如权利要求1所述的基于文本数据集的数据处理方法，其特征在于，对于某一关键词组，基于该关键词组中的有效关键词、以及预设的权重对照表生成该关键词组对应的行为能力指数表征量，包括：

查找预设的权重对照表，确定该关键词组中各个有效关键词对应的行为能力指数，基于该关键词组中各个有效关键词对应的行为能力指数确定该关键词组对应的行为能力指数表征量。

6.如权利要求1所述的基于文本数据集的数据处理方法，其特征在于，所述根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，包括：

基于各个关键词组对应的行为能力指数表征量所属的参数范围对各个登记源数据进行分类，得到多个数据类。

7.一种基于文本数据集的数据处理装置，所述基于文本数据集的数据处理装置应用于特定群体人口监控系统，其特征在于，包括：

数据获取模块，用于获取目标特定群体人口监控系统的登记源数据，并提取各个登记源数据中的有效关键词，得到各个登记源数据对应的关键词组；

指数确定模块，用于基于各个关键词组中的有效关键词、以及预设的权重对照表生成各个关键词组对应的行为能力指数表征量；其中，所述权重对照表为各个有效关键词以及各个有效关键词对应的行为能力指数的对照表；

分类存储模块，用于根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，并对各个数据类进行分块存储。