[发明专利]基于文本数据集的数据处理方法、装置及终端设备

说明书

本发明提供了一种基于文本数据集的数据处理方法、装置及终端设备，该方法应用于数据处理领域，包括：获取目标特定群体人口监控系统的登记源数据，并提取各个登记源数据中的有效关键词，得到各个登记源数据对应的关键词组；基于各个关键词组中的有效关键词、以及预设的权重对照表生成各个关键词组对应的行为能力指数表征量；根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，并对各个数据类进行分块存储。本发明提供的基于文本数据集的数据处理方法、装置及终端设备能够有效地对特定群体人口监控系统中的登记源数据进行分类处理，提高后续数据处理速度。

技术领域

本发明属于数据处理技术领域，更具体地说，是涉及一种基于文本数据集的数据处理方法、装置及终端设备。

背景技术

已知特定群体人口监控系统内部存储着大量登记源数据，如何有效地对大量登记源数据进行分类处理成为本领域技术人员亟需解决的问题。

发明内容

本发明的目的在于提供一种基于文本数据集的数据处理方法、装置及终端设备，以实现特定群体人口监控系统中登记源数据的分类处理。

本发明实施例的第一方面，提供了一种基于文本数据集的数据处理方法，所述基于文本数据集的数据处理方法应用于特定群体人口监控系统，所述方法包括：

获取目标特定群体人口监控系统的登记源数据，并提取各个登记源数据中的有效关键词，得到各个登记源数据对应的关键词组；

基于各个关键词组中的有效关键词、以及预设的权重对照表生成各个关键词组对应的行为能力指数表征量；其中，所述权重对照表为各个有效关键词以及各个有效关键词对应的行为能力指数的对照表；

根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，并对各个数据类进行分块存储。

本发明实施例的第二方面，提供了一种基于文本数据集的数据处理装置，所述基于文本数据集的数据处理装置应用于特定群体人口监控系统，其特征在于，包括：

数据获取模块，用于获取目标特定群体人口监控系统的登记源数据，并提取各个登记源数据中的有效关键词，得到各个登记源数据对应的关键词组；

指数确定模块，用于基于各个关键词组中的有效关键词、以及预设的权重对照表生成各个关键词组对应的行为能力指数表征量；其中，所述权重对照表为各个有效关键词以及各个有效关键词对应的行为能力指数的对照表；

分类存储模块，用于根据各个关键词组对应的行为能力指数表征量对各个登记源数据进行分类，得到多个数据类，并对各个数据类进行分块存储。

本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于文本数据集的数据处理方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于文本数据集的数据处理方法的步骤。

本发明实施例提供的基于文本数据集的数据处理方法、装置及终端设备的有益效果在于：

本发明是基于目标特定群体人口监控系统的文本数据集进行数据分类处理的，相对于直接基于数据表字段进行分类处理的方案，本发明给出的基于文本数据集的数据分类处理方法可以考虑到目标特定群体人口监控系统中登记源数据的个性化文本描述，从而更加准确地对目标特定群体人口监控系统的数据进行分类。在上述构思的基础上，本发明给出了具体的实现方案，也即提取登记源数据的有效关键词，根据有效关键词对应的行为能力指数对各个登记源数据进行分类，从而实现了更为准确的目标特定群体人口监控系统的数据分类处理方案。

附图说明