[发明专利]面向庭审过程中犯罪嫌疑人态度预测的方法

权利要求书

1.一种面向庭审过程中犯罪嫌疑人态度预测的方法，其特征在于，包括如下步骤：

S1.庭审数据的获取与解析；

S2.数据规整及标注对齐；

S3.庭审过程多模态信息的抽取与拓展；

S4.利用多模态信息对犯罪嫌疑人态度进行预测。

2.如权利要求1所述的面向庭审过程中犯罪嫌疑人态度预测的方法，其特征在于，

所述步骤S1.庭审数据的获取与解析，具体包括：

A1.数据范围筛选：从中国裁判文书网(http://wenshu.court.gov.cn/Index)和中国庭审公开网(http://tingshen.court.gov.cn/)上收集数据；

A2.数据获取：确定所获取庭审案件号，通过编写网页爬虫程序，于目标庭审案件号上按照指定庭审视频和裁判文书爬取庭审案件的信息；

A3.网页解析：借助BeautifulSoup工具解析将爬取的网页中的数据，通过HTML标签和属性信息，解析出与庭审案件的相关信息。

3.如权利要求1所述的面向庭审过程中犯罪嫌疑人态度预测的方法，其特征在于，

所述步骤S2.数据规整以及标注对齐，具体包括：

B1.数据选取；

B2.数据处理：对收集的视频数据进行剪辑，提取与视频片段配套的音频，作为音频数据，再从音频中提取配套的文字，文本信息存储为TXT格式；

B3.数据标注：由若干标注者观看视频片段并进行数据标注，标注犯罪嫌疑人态度的最终结果按照标注者投票所获得。

4.如权利要求1所述的面向庭审过程中犯罪嫌疑人态度预测的方法，其特征在于，

所述步骤S3.庭审过程多模态信息的抽取与拓展，具体包括：

C1.文本特征提取：使用BERT进行文本的特征提取，对于每个句子L，经过处理后得到768维的句向量表示，融合最后三层的transformer层的参数，取其平均值，并且选取每句话前面的CLS作为这句话的表示，其中CLS是一个特殊标志符号，放在句子前面，因为CLS不包含其自身意思，故认为CLS表示为这句话的句向量信息，学到了这句话的语义表示，用BERT-base-Chinese参数来微调文本信息，最终每句话表示为独一无二的768维向量；

C2.音频特征提取：从犯罪嫌疑人说话的途中提取音频特征，使用音频提取开源工作pyAudioAnalysis，首先我们加载音频数据，然后，将输入信号分成短帧，并为每个帧计算多个特征，再然后从整个音频中生成特征向量的序列，输入为时间序列信号，采样率为16000Hz，帧大小为50毫秒，帧步长为25毫秒，最后，得到一个34行800列的Numpy矩阵，其中800为输入音频记录的短期帧的特征向量；

C3.视频特征提取：使用PySlowFast框架从具有预先训练的SlowFast模型的视频中提取视觉功能，将每个提取帧的高度和宽度设置为256x256，并在每个帧的中心设置32个采样窗口，计算每帧获得的d_v＝2043维特征向量U_i的平均值，每秒帧数为30FPS。

5.如权利要求1所述的面向庭审过程中犯罪嫌疑人态度预测的方法，其特征在于，

步骤S4.利用多模态信息对犯罪嫌疑人态度进行预测，具体包括：

D1、通过步骤S2对数据进行处理后，所得到的数据集包括：视频、音频、文本、裁判文书、标注信息；

D2、多模态信息融合：利用视频、音频、文本三种模态的特征作为输入，文本特征是从Bert CLS中提取的，它是768维向量，音频特征是34行800列的矩阵，经过MLP展平后，它变成768维特征向量，视频特征是2304维的向量，应用MLP将其转换为768维的向量，将这三个维度合并为768维向量，并串联为2304维向量，通过MLP之后，针对犯罪嫌疑人的态度进行分类；

D3、评价指标：采用的评价指标为F1值，F1值定义如下：F1值＝正确率*召回率*2/(正确率+召回率)。