[发明专利]代码标识符的归一化方法、装置

权利要求书

1.一种代码标识符的归一化方法，其特征在于，包括：

对代码标识符进行划分，得到组合词和缩写词；

分别对组合词和缩写词进行归一化，

其中组合词归一化包括：

依据组合词中包括的字符，划分得到硬词和软词；

采用词句拆分算法对硬词进行拆分，依据历史拆分结果对软词进行拆分；

其中缩写词归一化包括：

抽取与缩写词相关联的编程代码中的代码标识符，构建缩写词词典；

依据所述缩写词词典进行缩写词扩充；

对剩余缩写词依据历史扩充结果进行扩充。

2.根据权利要求1所述的代码标识符的归一化方法，其特征在于，所述依据组合词中包括的字符，划分得到硬词和软词，包括：

将包括预设数量的特定字符形式、种类的组合词划分为硬词，其余则为软词。

3.根据权利要求2所述的代码标识符的归一化方法，其特征在于，所述特定字符形式、种类包括以下至少一种：大写字符、小写字符、特殊符号。

4.根据权利要求3所述的代码标识符的归一化方法，其特征在于，所述采用词句拆分算法对硬词进行拆分，包括：

采用正则表达式对硬词进行拆分。

5.根据权利要求4所述的代码标识符的归一化方法，其特征在于，所述依据历史拆分结果对软词进行拆分，包括：

获取相同开发者的历史拆分结果，并依据词句相似度，获取相似程度达到预设程度的代码项目的历史拆分结果；

依据历史拆分结果对软词进行拆分。

6.根据权利要求1或5所述的代码标识符的归一化方法，其特征在于，所述抽取与缩写词相关联的编程代码中的代码标识符，构建缩写词词典，包括：

依次从缩写词的当前函数、所述当前函数的相关函数、当前文件、当前项目中抽取关联信息；

将关联信息依据与缩写词的对应关系构建缩写词词典。

7.根据权利要求6所述的代码标识符的归一化方法，其特征在于，所述对剩余缩写词依据历史扩充结果进行扩充，包括：

获取相同开发者的历史扩充结果，并依据词句相似度，获取相似程度达到预设程度的代码项目的历史扩充结果；

依据历史扩充结果对缩写词进行扩充。

8.根据权利要求6所述的代码标识符的归一化方法，其特征在于，所述依据所述缩写词词典进行缩写词扩充；对剩余缩写词依据历史扩充结果进行扩充，还包括：

若存在缩写词对应多个扩充词；

抽取缩写词指向的当前代码的上下文，通过词向量算法分别计算多个扩充词与上下文的语义相似度，选取与当前代码上下文语义最相近的扩充词进行扩充。

9.根据权利要求8所述的代码标识符的归一化方法，其特征在于，所述分别对组合词和缩写词进行归一化，还包括：

将代码标识符归一化结果作为训练集，对归一化模型进行训练；

使用训练完成的归一化模型对代码标识符进行归一化。

10.一种代码标识符的归一化装置，其特征在于，包括：划分单元和归一化单元，其中：

所述划分单元，用于对代码标识符进行划分，得到组合词和缩写词；

所述归一化单元，用于分别对组合词和缩写词进行归一化，

其中组合词归一化包括：

依据组合词中包括的字符，划分得到硬词和软词；

采用词句拆分算法对硬词进行拆分，依据历史拆分结果对软词进行拆分；

其中缩写词归一化包括：

抽取与缩写词相关联的编程代码中的标识符，构建缩写词词典；

依据所述缩写词词典进行缩写词扩充；

对剩余缩写词依据历史扩充结果进行扩充。