[发明专利]一种基于多模态数据的面向手写中文的性格识别方法

权利要求书

1.一种基于多模态数据的面向手写中文的性格识别方法，其特征在于，该方法包括以下具体步骤：

步骤1：预处理

将手写中文图片进行缩放、裁剪，达至像素规定尺寸即长至少640，宽至少480)；再将手写中文图片转换成二值化图像，记为Img-0；

步骤2：获取字符信息

将Img-0进行字符切割，获取字符集h＝{h₁,h₂,......,h_k}；k表示字符总数；

对于每个字符h_i(1≤i≤k)：

(1)判断h_i的四方轮廓类别o_i，是正方形即高度等于宽度、长方形即高度大于宽度、还是扁方形即高度小于宽度；

(2)计算h_i的字体大小s_i；

(3)计算h_i的字体倾斜角度a_i；

对o＝{o₁,o₂,......,o_k}，计算其中正方形字体的占比、长方形字体的占比以及扁方形字体的占比，作为字符集的四方轮廓信息O；

以5mm*5mm为标准大小，对s＝{s₁,s₂,......,s_k}，计算其中字体大于标准大小的占比、字体小于标准大小的占比，作为字符集的大小程度信息S；

以90°为标准角度，字体倾斜角度大于90°记为字体向左倾斜，字体倾斜角度小于90°记为字体向右倾斜；对a＝{a₁,a₂,......,a_k}，计算其中字体向左倾斜的占比、字体向右倾斜的占比，作为字符集的倾斜程度信息A；

对于每个字符h_i(2≤i≤k)，计算h_i相对于h_i-1的水平距离d_i，i-1；对d＝{d_1,0,d_2,1,......,d_k,k-1}计算算术平均数，作为字符集的字间距信息D；

将字符集的四方轮廓信息O、大小程度信息S、倾斜程度信息A和字间距信息D组合为向量C，作为Img-0的字符信息；

步骤3：获取章法信息

将Img-0送入卷积神经网络CNN，得到全区章法表征I₀；

将Img-0按长度裁剪为三等份，分别为上区手写中文图片Img-1、中区手写中文图片Img-2和下区手写中文图片Img-3；

将Img-1送入CNN，并使用I₀作为注意力机制，得到上区章法表征I₁；

将Img-2送入CNN，并使用I₀作为注意力机制，得到中区章法表征I₂；

将Img-3送入CNN，并使用I₀作为注意力机制，得到下区章法表征I₃；

将I₀、I₁、I₂和I₃拼接得到I，作为Img-0的章法信息；

步骤4：获取文本信息

通过光学字符识别OCR，将Img-0中的手写中文转换成纯文本Z；

从纯文本Z中抽取CLIWC特征，记为T，作为手写中文的文本信息；

步骤5：性格预测

将字符信息C、章法信息I、文本信息T拼接，经过线性计算得到结果F；F是n维向量，每一维表示写作者在对应性格特质上的得分，n表示性格特质总数；具体公式如公式(1)所示：

F＝W_f[C；I；T]+b_f (1)

其中W_f是权重矩阵，b_f是偏置项。