[发明专利]危险化学品安全领域专业词库的构造方法、检索方法及系统

说明书

本发明提供一种危险化学品安全领域专业词库的构造方法、检索方法及系统，属于化工安全技术领域。所述方法包括：形成词条存储结构，并获取关于危险化学品安全专业的词汇，然后按照所述词条存储结构，将所述词汇形成专业词库的词条，其中，所述词条存储结构用于所述专业词库的数据单元的存储结构，所述词条被定义为所述专业词库的数据单元，所述数据单元包括所述词汇的字符串；形成所述专业词库的词表，然后构建关于所述词表和所述词汇的标识树，通过所述标识树获得与所述词汇的字符串对应的索引值，再记录所述索引值与所述专业词库中所述词汇的字符串或所述词条的映射关系。本发明用于专业词汇处理。

技术领域

本发明涉及化工安全技术领域，具体地涉及一种专业词库的构造方法、一种专业词库的检索方法、一种用于专业词汇索引的系统、一种用于专业词汇索引的设备和一种计算机可读存储介质。

背景技术

随着化工行业、危险化学品监管的发展，相关机构和企业在危险化学品安全监管与公共互联网服务的过程中，积累了大量的法规、制度、档案以及报告文件，这种非结构化的数据逐渐积累，发展成为一种大数据。大数据的价值体现在对大规模数据集合的智能处理方面，如何有效利用大数据中海量信息已成为信息技术发展的一个关键性问题。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理作为人工智能领域的认知智能，成为目前关注的焦点。基于自然语言处理的技术对文本数据进行处理和分析，不仅可以免去大量的投入在资料查询、整理文档和提取信息方面的人力成本，还可以更好的进行文档应用，对文档进行深度的挖掘与利用。而分词库的构建是上述所有自然语言处理技术的基础。面向专业领域的分词库的构建对于专业领域文档的自然语言处理至关重要。

目前，医学、电气等领域已有专业分词库构建的研究，而针对危险化学品安全领域的分词库研究尚空白，这在一定程度上制约了危险化学品安全领域自然语言处理技术应用的发展进程。此外，专业术语的标准化也非依靠人工可以进行，目前已有的指代相同事物的不同专业术语，同一专业术语的不同简称等都有待规范化，甚至标准化，表明记载专业术语或专业词汇的规范缺失。

自然语言处理技术和全文检索技术应用在危化品安全领域的瓶颈是专业词库的缺失。本发明构建了危险化学品专用词库能够从根本上解决这个问题，从而使得面向文本数据的各种应用得以实施。

发明内容

本发明的目的是提供一种危险化学品安全领域专业词库的构造方法、检索方法及系统，解决由于专业术语或词汇语料库的缺失和语料规范性的缺失，一般词库的适用性差，而导致的难以在危险化学品安全领域进行自然语言处理和全文检索等技术问题。

为了实现上述目的，本发明实施例提供一种专业词库的构造方法，该构造方法包括：

S1)形成词条存储结构，并获取关于危险化学品安全专业的词汇，然后按照所述词条存储结构，将所述词汇形成专业词库的词条，其中，所述词条存储结构用于所述专业词库的数据单元的存储结构，所述词条被定义为所述专业词库的数据单元，所述数据单元包括所述词汇的字符串；

S2)形成所述专业词库的词表，然后构建关于所述词表和所述词汇的标识树，通过所述标识树获得与所述词汇的字符串对应的索引值，再记录所述索引值与所述专业词库中所述词汇的字符串或所述词条的映射关系，从而完成专业词库的构造，其中，所述词表被定义为所述专业词库中同一类词条的集合。

具体的，步骤S1)中形成词条存储结构，包括：

定义专业词项、同义词项、词性项和词频项，通过所述专业词项、所述同义词项、所述词性项和所述词频项四个字段形成词条存储结构，其中，

所述专业词项用于记录专业词汇的字符串，所述同义词项用于记录所述专业词汇的同义词的字符串，所述词性项用于记录所述专业词汇的词分类，所述词频项用于记录所述专业词汇的出现次数，所述专业词汇为获取的词汇中至少一个词汇。