[发明专利]交通科技数据标引方法及系统

说明书

本发明公开了一种交通科技数据标引方法及系统，该方法包括：加载需要进行标引的数据；确定所述数据的数据类型，将所述数据类型根据标准数据库结构进行转换并导入处理数据库；对导入处理数据库的所述数据进行分词处理，获取N个第一关键词；根据M个所述第一关键词，进行自动标引；其中M和N为正整数，且M≤N。本发明的交通科技数据标引方法及系统，能够快速、高效、准确的进行交通科技数据的辅助标引，可以通过对大批量交通科技数据进行关键词和分类号的分词识别、提取，自动进行标引或者辅助人工标引人员进行标引工作，大大较少人工标引的工作强度和工作量。

技术领域

本发明涉及一种数据标引方法，特别是一种交通科技数据标引方法。本发明还涉及

背景技术

建立文献数据仓库的关键步骤是文献标引、标引质量的优劣直接影响计算机检索效率。目前，每个文献库都有专职从事标引工作的标引人员，也即一般需要大量人员进行人工标引。但是，由于人工标引所存在的效率低，易出错的问题，目前的发展趋势是人工标引慢慢的向机器自动标引过渡。

一般来说，数据仓库在建设过程中，不仅仅局限于对已有数据的直接使用，更多的是对多来源数据的整合、归纳、聚类，使各数据能够在统一的框架下主题化、标签化，从而挖掘出科技数据中潜藏的价值，为更加智能化、个性化的需求来服务。如何从大量的文本数据中提炼其核心类别、核心点则是在系统建设中的重要的一点。目前的数据标引系统仍可能需要大量人工标引介入，数据标引效率较低，同时标引结果的准确性也不高。

因此，现有技术存在的上述问题亟待改进。

发明内容

鉴于现有技术存在的上述问题，本发明的一方面目的在于交通科技数据标引方法。该方法能够大量减少人工标引工作量，极大地提高数据标引效率。

为了实现上述目的，本发明的一个实施例提供了一种交通科技数据标引方法，包括：

加载需要进行标引的数据；

确定所述数据的数据类型，将所述数据类型根据标准数据库结构进行转换并导入处理数据库；

对导入处理数据库的所述数据进行分词处理，获取N个第一关键词；

根据M个所述第一关键词，进行自动标引；

其中M和N为正整数，且M≤N。

作为优选，在进行自动标引之前，对经过分词处理的N个所述第一关键词进行聚类，得到聚类词表，计算聚类词表中各个词的先验概率和对应的TF-IDF值得乘积，并根据得出的结果进行排序，抽取序列中前M个第一关键词，进行自动标引。

作为优选，所述M为选自3到8之间的正整数。

作为优选，该方法还包括：

计算关键词中的共现组合情况，与已有标准数据进行比对后，提取频次最高的中图分类号；

检索中图专业词表，抽取有效匹配数据的分类号；

将预设专业词表的分类号数据作为标准点加入聚类词表，计算各关键词的组合特征向量，并计算与其最接近的标准点，抽取该标准点数据的分类号作为学科相似分类号；

使用中图-学科分类号映射表，得出学科映射分类号；

对学科相似分类号和学科映射分类号取交集作为学科分类号结果。

作为优选，计算学科分类号时，通过以下优先级进行处理：

检索学科专业词表，抽取有效匹配数据的分类号；

将专业词表的有效匹配数据的分类号加入聚类词表。

本发明的另一方面，还提供了一种交通科技数据标引系统，该系统包括：