[发明专利]一种多感官数据记录系统

权利要求书

1.一种多感官数据记录系统，其特征在于，至少包括：

计算机(1)；

听觉测试设备(2)，与所述计算机(1)连接，配置为生成音频信号；

发声器件(3)，与所述听觉测试设备(2)连接，配置为将所述音频信号传入受试者耳朵；

主机(4)，与所述计算机(1)、听觉测试设备(2)连接，配置为根据所述音频信号生成文字信号；

平板电脑(5)，与所述主机(4)连接，配置为显示所述文字信息以及供受试者应答操控；

第一采集装置(6)，与所述主机(4)连接，配置为对受试者应答过程的动作以及视觉进行采集。

2.根据权利要求1所述的多感官数据记录系统，其特征在于，所述平板电脑(5)至少包括：

触摸显示屏(51)，与所述主机(4)连接，配置为显示所述文字信息以及供受试者应答操控；

控制模块(52)，分别与所述主机(4)、触摸显示屏(51)连接，配置为控制所述文字信号在所述触摸显示屏(51)的不同位置显示以及记录受试者点击所述触摸显示屏(51)的位置、点击所述触摸显示屏(51)的次数、与所述触摸显示屏(51)接触的时间。

3.根据权利要求2所述的多感官数据记录系统，其特征在于，所述文字信号包括与所述音频信号相对应的文字信号以及与所述音频信号不对应的其他文字信号。

4.根据权利要求3所述的多感官数据记录系统，其特征在于，所述控制模块(52)能够控制所述与所述音频信号相对应的文字信号以及与所述音频信号不对应的其他文字信号在所述触摸显示屏(51)的不同位置显示。

5.根据权利要求2～4任一项所述的多感官数据记录系统，其特征在于，所述主机(4)包括数字信号处理器(41)，所述数字信号处理器(41)与所述听觉测试设备(2)、所述平板电脑(5)的控制模块(52)连接。

6.根据权利要求5所述的多感官数据记录系统，其特征在于，所述主机(4)配置为对音频信号与受试者手势之间的相关性以及对音频信号与文字信号之间的相关性进行判断并进行记录；

所述计算机(1)控制听觉测试设备(2)发出音频信号后，受试者做出点击手势，即判断为具有相关性，记录为“相关性信息A”；

所述计算机(1)控制听觉测试设备(2)未发出音频信号，受试者做出点击手势，即判断为不具有相关性，记录为“相关性信息B”；

受试者在接收到音频信号后，在所述触摸显示屏(51)中点击确认时，点击显示的文字信号与所发出的音频信号一致时则记录为“对”；点击显示的文字信号与所发出的音频信号不一致时则记录为“错”。

7.根据权利要求6所述的多感官数据记录系统，其特征在于，所述主机(4)还包括计数器(42)，所述计数器(42)与所述数字信号处理器(41)连接，所述计数器(42)配置为记录所述听觉测试设备(2)发出音频信号的发声次数、“相关性信息A”和“相关性信息B”的数量、“对”和“错”的数量、手势位置信息、受试者点击所述触摸显示屏(51)的次数以及时间信息；

所述时间信息包括发声时长、发声后到点击的反应时间、发声后的相邻两次点击动作的间隔时长、从发声到完成一组音频信号测试的总时长。

8.根据权利要求6所述的多感官数据记录系统，其特征在于，所述主机(4)还包括存储器(43)，所述存储器(43)与所述数字信号处理器(41)连接。

9.根据权利要求5所述的多感官数据记录系统，其特征在于，所述主机(4)还包括输入端口(44)和输出端口(45)，所述输入端口(44)的一端与所述数字信号处理器(41)连接，另一端可与所述听觉测试设备(2)连接，所述输出端口(45)的一端与所述数字信号处理器(41)连接，另一端与所述平板电脑(5)连接。

10.根据权利要求1～4任一项所述的多感官数据记录系统，其特征在于，还包括第二采集装置(7)，所述第二采集装置(7)与所述主机(4)连接，配置为对受试者在测试过程发出的语音进行采集。