《基于语音识别的英语口语口语自动评分系统.pdf》由会员分享，可在线阅读。 有关“基于语音识别口语英语阅读自动评分系统.pdf（9页完整版）”的更多信息请前往专利查询网站搜索。

1. (19) 中华人民共和国国家知识产权局 (12) 发明专利申请 (10) 申请公开号 (43) 申请公开日期 (21) 申请号 2.7 (22) 申请日期 2020.05.19 (71)申请人 黑龙江 业学院 黑龙江省鸡西市鸡冠区和平南街 158100 申请人 田铁刚 王丽丽 徐艳艳（72） 发明人 田铁刚 王丽丽 徐艳艳（74） 专利机构 北京信鼎专利机构（普通合伙） 11834特 王阳红 (51) Int.Cl. G09B 7/02(2006.01) G10L 15/26(2006.01) (54) 发明名称 一种基于声音识别的英语口语自动评分系统 (57) 摘要。

2、本发明公开了一种基于语音识别的英语口语阅读自动评分系统，包括互联客户端、评分服务器和云端数据库。 客户端包括语音提取模块、声音处理器和通信模块。 语音提取模块通过录音装置记录用户所说口语语音，并将其转换为数字信号并输出​​至语音识别器； 声音处理器包括：降噪模块、转换模块、特征提取模块、噪声抑制模块、识别模块、控制模块。 其优点在于：本申请中的声音识别模块和评分模块提取识别结果中的语音流综合特征、发音准确方向特征、流利程度方向特征以及文本语义相似度方向特征，然后进行识别。他们根据计算结果与标准进行相似度比较，从而获得相似度分数，与现有进行比较。

3、技术评分具有高效、准确、快速的技术效果。 2页权利要求、5页说明书、1页附图 CN 111599234 A 2020.08.28 CN 111599234 A 1.一种基于语音识别口语英语阅读自动评分系统，其特征在于，包括互联的客户端、评分服务器和云端数据库; 客户端包括语音提取模块、声音处理器和通信模块； 语音提取模块通过录音设备记录用户所说口语语音，并将其转换为数字信号并输出​​至语音识别器； 语音处理器包括：降噪模块、转换模块、特征提取模块、噪声抑制模块、识别模块和控制模块； 通信模块收集语音提取模块和声音处理器的信号并传输至评分服务器；

4、评分服务器包括评分装置和统计上传模块； 评分装置包括识别模块和评分模块； 识别模块包括声学模块、语言模块和特定识别模块，声学模块提取用户回答音频的声学特征，通过声学模型获得。 语言模块根据问题信息和训练文本获得语言模型。 识别模块通过声学模型和语言模型对用户的回答音频进行解码，得到识别结果； 评分模块包括有效特征提取模块和有效特征提取模块。 特征评分模块。 有效特征提取模块用于提取识别结果中语音流的综合特征。 语音流的综合特征包括发音准确度方向的特征、流利度方向的特征以及口语评估中的文本语义相似度。 特征在学位方向。 文本语义相似度方向的特征包括语义相关性特征和语法结构。

5、相似特征； 有效特征提取模块用于提取语义相关性特征； 统计上传模块收集评分模块中的有效特征并按照相似度顺序进行排序，统计上传模块完成排序。 将有效特征上传至云端数据库。 2.根据权利要求1所述的基于语音识别口语英语阅读自动评分系统，其特征在于，所述降噪模块对实时获取的用户语音或其他存储的声音进行噪声抑制，以达到降噪的目的。 之后的声音信息； 噪声抑制模块采用谱去除方法和/或学习等距方法和/或降噪自编码器中的至少一种进行噪声抑制； 转换模块对声音信息进行拉普拉斯变换，得到拉普拉斯频谱信息； 特征提取模块对获得的拉普拉斯谱信息进行二维傅里叶变换英语培训，得到拉普拉斯变化。

6、改变声音信息数据的波数谱特征； 噪声抑制模块根据拉普拉斯变换声音信息数据波数谱截取至少5个时间片的滤波因子，组合成滤波器组； 对时间片信息数据进行二维傅立叶变换处理，得到滤波后的信息数据波数谱。 滤波后的信息数据波数谱用于对整个录音的声音数据波数谱上的环境噪声进行抑制，并将环境噪声抑制后的声音数据发送至评分服务器。 3.根据权利要求1所述的一种基于语音识别的英语口语阅读自动评分系统，其特征在于，所述识别模块采用预设语言对应的语音识别引擎作为识别对象英语口语识别，即英语，指的是识别目标语言信息用于对输入的输入声音进行语音识别，识别目标语言信息具有预先登记在语音识别词典中的识别目标词语。

7、包含的每个识别目标词的标签信息和发音信息； 表示多种语言的单词发音信息之间的对应关系的发音信息转换规则注册在云端数据库中，发音信息转换基于云端数据库。 数据库的发音信息转换规则将单词的发音信息在语言之间进行转换。 4.根据权利要求3所述的一种基于语音识别的英语口语自动评分系统，其特征在于，在权利要求1/2第2页 CN 111599234 A 2中，所述控制模块控制所述语音识别模块进行识别，当所述识别目标词汇被引用时目标语言信息包括与设定语言不同的语言的单词，即其他语言的单词英语口语识别，发音信息转换模块将其他语言的发音信息转换为设定语言。 识别模块是指正在输入的某种语言的发音信息。

8、利用转换后的输入语音的设定语言的发音信息和语音识别词典中预先登记的识别目标词汇的识别目标词信息进行语音识别。 5.根据权利要求1所述的基于语音识别的英语口语阅读自动评分系统，其特征在于，所述语义相关性特征包括：计算所述识别结果中的每个单词和所述标准中的每个单词的值。 语义相似度评分； 计算识别结果中每个单词与标准中每个句子之间的语义相似度得分； 计算识别结果中每个单词与标准中每个句子之间的最大或平均语义相似度得分，作为单词与句子之间的相似度得分； 计算用户和标准之间的相似度得分。 6.根据权利要求1所述的一种基于语音识别的英语口语阅读方法。

9.一种动态评分系统，其特征在于，所述有效特征提取模块用于提取语法结构相似度特征，包括： 为识别结果中的每个句子建立语法顺序向量； 分别获取识别结果中的每个句子。 将识别结果中每个句子的语法结构相似度得分最大作为该句子的语法结构相似度得分，确定句子与标准中每个句子的语法结构相似度得分； 通过比较识别结果中每个句子的语法结构相似度得分的结构相似度得分的加权平均值，计算用户与标准之间的语法结构相似度特征。 7.根据权利要求3所述的基于语音识别的英语口语自动评分系统，其特征在于，所述识别模块采用基于大规模连续语音识别的解码系统，所述声学模型采用基于隐马尔可的解码系统。 丈夫模型，语言模型采用。

10、使用基于元语法的语言模型，解码时采用多通道解码技术。 多遍解码包括直接解码、基于最大线性似然回归的无监督自适应和二次解码； 有效特征评分模块对语音流的综合特征进行评分训练，得到评分模型，并根据评分模型对识别结果进行评分。 权利要求2/2第3页 CN 111599234 A 3 一种基于语音识别口语英语阅读自动评分系统 技术领域 0001 本发明涉及口语评分技术领域，具体涉及一种基于口语的英语阅读自动评分系统关于语音识别。 背景技术0002 随着计算机科学技术的发展，信息技术在教育教学中得到了广泛的应用。 丰富了教学资源，改善了学习环境，让学生的学习变得更加轻松。

11、教师队伍和教师的教学方法发生了根本性变化。 另一方面，随着人智能、声学、语言学的发展，语音智能技术成为一种新型信息技术，语言教学逐渐走向计算机辅助教学。 然而，英语口语复习还涉及很多技术问题，其中语音识别技术和自然语言处理技术是主要问题。 0003 近年来，出现了一些基于计算机和网络技术的机考口语英语系统，如上外语教育出版社的口语考英语口语考试系统、蓝鸽系统等，已取得了一定的成绩。考官和考生在考场分开，支持大多数英语口语考试系统。 组织规模口语考试。 但在评分方面，只支持客观题。 主观题的评分作仍然需要大量的人力和物力。 比如英语考试主观题中的复述题。 因此英语口语识别，实际上，口语表达能力很差。

12. 就评分任务而言，评分仍然完全由人完成。 而且，这种评分任务不仅主观性强，而且时间长、强度大，评分质量难以控制。 发明内容0004本发明的目的是为了解决现有技术中存在的问题，提出一种基于语音识别的英语口语阅读自动评分系统。 0005 为了实现上述目的，本发明采用以下技术方案： 一种基于语音识别口语英语阅读自动评分系统，包括互联客户端、评分服务器和云端数据库。 0006 客户端包括语音提取模块、声音处理器、通信模块； 0007 语音提取模块通过录音装置记录用户口语的语音，并转换为数字信号输出给语音识别器； 0008 声音处理器包括： 降噪。

13、模块、转换模块、特征提取模块、噪声抑制模块、识别模块、控制模块； 0009 通信模块采集语音提取模块和声音处理器的信号并传输至评分服务器； 0010 计分服务器包括计分装置和统计上传模块； 评分装置包括识别模块和评分模块； 0011 识别模块包括声学模块、语言模块和特定识别模块，声学模块提取用户响应音频的声学特征得到声学模型，语言模块根据问题信息和训练得到语言模型文本，识别模块通过声学模型和语言模型对用户的回答音频进行解码，得到识别结果； 0012 评分模块包括有效特征提取模块和有效特征评分模块学英语，有效特征提取模块用于提取识别结果。

14、结果中语音流的综合特征。 语音流的综合特征包括口语评估中的发音准确方向特征、流利程度方向特征和文本语义相似度方向特征。 文本语义相似度规范 1/ 5 页 4 CN 111599234 A 4个方向特征包括语义相关性特征和语法结构相似性特征； 有效特征提取模块用于提取语义相关性特征； 0013统计上传模块将评分模块中收集的有效特征按照相似度排序，统计上传模块将排序后的有效特征上传至云端数据库。 0014 在上述基于语音识别的英语口语阅读自动评分系统中，所述降噪模块对实时获取的用户语音或其他存储的声音进行噪声抑制，得到降噪后的语音信息； 所以。

15、噪声抑制模块采用谱去除方法和/或学习识别方法和/或降噪自编码器中的至少一种进行噪声抑制； 0015 转换模块对声音信息进行拉普拉斯变换，得到拉普拉斯拉普拉斯谱信息； 0016 特征提取模块对获得的拉普拉斯谱信息进行二维傅里叶变换，得到拉普拉斯变换声音信息数据的波数谱特征； 0017 噪声抑制模块基于拉普拉斯变换对声音信息数据的波数谱进行截取，截取至少5个时间片的滤波因子，并将其组合成滤波器组； 对时间片信息数据进行二维傅立叶变换，得到滤波器信息数据的波数谱，并利用滤波器​​信息数据的波数谱对时间片信息数据的声音数据的波数谱进行环境噪声抑制整个录音，并将抑制的声音数据传输到评分服务器。 0018 上。

16、上述的基于语音识别的英语口语阅读自动评分系统中，所述识别模块采用预设语言对应的语音识别引擎作为识别目标，即英语，并参考所述识别目标语言信息评估正在输入的输入。 利用语音进行语音识别，识别目标词信息具有语音识别词典中预先注册的识别目标词汇中包含的每个识别目标词的标记信息和发音信息； 0019 云数据库中登记了该单词的多种语言的发音信息。 两种语言对应关系的发音信息转换规则是基于云数据库的发音信息转换规则，在语言之间进行单词的发音信息转换。 0020 在上述的基于语音识别的英语口语自动评分系统中英语口语识别，所述控制模块控制所述语音识别模块参考所述识别目标语言信息的识别目标词汇。

17、如果单词中包含与设定语言不同的语言的单词，即其他语言的单词，则发音信息转换模块将其他语言的发音信息转换为设定语言的发音信息，进行识别模块参考输入的输入语音转换后的设定语言的发音信息以及语音识别词典中预先登记的识别目标词汇的识别目标词信息进行语音识别。 0021 在上述的基于声音识别的英语口语阅读自动评分系统中，所述语义相关性特征包括： 计算所述识别结果中的每个单词与标准中的每个单词的语义相似度得分； 计算识别结果中的语义相似度得分 计算标准中每个单词与每个句子之间的语义相似度得分； 计算识别结果中的每个单词与标准中的每个句子之间的最大语义相似度得分。

18、将该值或平均值作为词与句子之间的相似度得分； 计算用户和标准之间的相似度得分。 0022 在上述基于语音识别的英语口语阅读自动评分系统中，有效特征提取模块用于提取语法结构相似特征，包括：为识别结果的每个句子建立语法顺序向量； 求识别结果中每个句子与标准中每个句子的语法结构相似度得分，取识别结果中每个句子的语法结构相似度得分的最大值作为该句子的语法结构相似度得分； 通过对识别结果中每个句子的语法结构相似度得分的加权平均，计算用户与标准之间的语法结构相似度特征。 0023 在上述基于声音识别的英语口语阅读自动评分系统中，对识别进行了描述。

19、专用模块采用基于手册2/5第5页CN 111599234 A 5大规模连续语音识别的解码系统。 声学模型采用隐马尔可夫模型，语言模型采用基于元语法的语言模型。 解码时采用多通道解码技术。 多遍解码包括直接解码、基于最大线性似然回归的无监督自适应和二次解码； 有效特征评分模块对语音流的综合特征进行评分训练。 ，得到评分模型，根据评分模型对识别结果进行评分。 0024 与现有技术相比，本发明的优点是： 0025 1、在高噪声环境下，通过截取噪声抑制模块中至少5个时间片的滤波因子，得到滤波信息的波数谱data是在整个录音环境中进行的声音数据波数谱。

20、噪声抑制，抑制环境噪声，实现高噪声下准确的声音识别，方便后续评分操作； 0026 2、本应用中的声音识别模块和评分模块提取识别结果中语音流的综合特征、发音准确度方向的特征、流畅度方向的特征、文本语义相似度方向的特征，然后比较计算出的识别结果与标准的相似度，得到相似度得分。 与现有技术评分相比，技术结果高效、准确、快速。 附图说明0027 图1为本发明提出的基于语音识别的英语口语阅读自动评分系统的系统框图。 0028 图2为本发明提出的基于语音识别的英语口语阅读自动评分系统中的评分装置。 部分系统框图。 具体实施方式0029 以下仅为实施例。

图21是为了说明的目的基于语音识别口语英语阅读自动评分系统.pdf，并不旨在限制本发明的范围。 0030实施例0031参见图1-2，一种基于语音识别口语英语阅读自动评分系统，包括互联的客户端、评分服务器和云端数据库； 0032 客户端包括语音提取模块、声音处理器、通信模块； 0033 语音提取模块通过录音装置记录用户口语的语音，并转换为数字信号输出给语音识别器； 0034 声音处理器包括：降噪模块、转换模块、特征提取模块、噪声抑制模块、识别模块、控制模块； 0035 通信模块采集语音提取模块和声音处理器的信号并传输至评分服务器； 0036 评分服务器包括评分装置和统计上传模块；。

22、所述评分装置包括：识别模块和评分模块； 0037、识别模块包括声音模块、语言模块和特定识别模块。 声学模块提取用户响应音频的声学特征以获得声学模型。 语言模块根据问题确定模型。 利用信息和训练文本得到语言模型，识别模块通过声学模型和语言模型对用户响应音频进行解码得到识别结果； 0038 评分模块包括有效特征提取模块和有效特征评分模块，有效特征提取模块用于提取识别结果中语音流的综合特征。 语音流的综合特征包括口语评估中发音准确性方向的特征、流畅性方向的特征以及文本语义相似度方向的特征。 文本语义相似度是程度方向的特征，包括语义相关性特征和语法结构相似性特征； 以上是有效的。

23、特征提取模块，用于提取语义相关性特征。 CN 111599234 A 6、统计上传模块收集评分模块中的有效特征，并按照相似度顺序进行排序。 统计上传模块上传模块将排序后的有效特征上传至云端数据库。 0040 降噪模块对实时获取的用户语音或其他存储的声音进行噪声抑制，得到降噪后的声音信息； 降噪模块采用谱去除法和/或学习等距法和/或还原法。 至少一个噪声自动编码器执行噪声抑制； 0041 转换模块对声音信息进行拉普拉斯变换，得到拉普拉斯谱信息； 0042 特征提取模块对得到的二维傅里叶变换进行拉普拉斯谱信息，得到拉普拉斯变换声音信号。

24、信息数据的波数谱特征； 0043 噪声抑制模块根据拉普拉斯变换声音信息数据的波数谱，截取至少5个时间片的滤波因子，组合成滤波器组； 时间片的信息数据被分为两组。 利用维度傅里叶变换得到滤波后的信息数据波数谱，利用滤波后的信息数据波数谱对整个录音的声音数据波数谱进行环境噪声抑制学英语，并传输环境噪声抑制后的声音数据到计分服务器。 0044 识别模块采用预设的语言对应的语音识别引擎作为识别目标，即英语，结合识别目标语言信息对输入的输入语音进行语音识别。 识别目标语言信息具有语音识别词典中的信息。 预先注册的识别目标词汇中包含的每个识别目标词的标记信息和发音信息； 0045已在云数据库中注册。

25、发音信息转换规则，表示多种语言的单词发音信息之间的对应关系。 发音信息转换是根据云数据库的发音信息转换规则，将单词的发音信息进行语言间的转换。 0046 当识别目标词汇中包括与设定语言不同的语言的单词，即其他语言的单词时，控制模块控制语音识别模块参考识别目标单词信息，并且发音信息转换模块转换发音将其他语言的信息转换为设定语言的发音信息，识别模块参考正在输入的输入声音和语音识别词典转换后的设定语言的发音信息。 使用预先登记的识别目标词汇的识别目标单词信息来进行语音识别。 0047 语义相关性特征包括：计算识别结果中的每个词和标准。

26、中每个单词的语义相似度得分； 计算识别结果中每个单词与标准中每个句子的语义相似度得分； 计算识别结果中每个单词与标准中每个句子的语义相似度得分，将最大或平均语义相似度得分作为单词与句子之间的相似度得分； 计算用户和标准之间的相似度得分。 0048 有效特征提取模块，用于提取语法结构相似特征，包括：为识别结果中的每个句子建立语法顺序向量； 分别获取识别结果中的每个句子和每个标准的句子的语法结构相似度得分，将识别结果中每个句子的语法结构相似度得分的最大值作为该句子的语法结构相似度得分； 通过将识别结果中每个句子的语法结构相似度得分相加。

27、利用加权平均计算用户与标准之间的语法结构相似度特征。 0049 识别模块采用基于大规模连续语音识别的解码系统，声学模型采用隐马尔可夫模型，语言模型采用基于元语法的语言模型，解码时采用多通道解码技术，多通道解码-pass解码包括直接解码、基于最大线性似然回归的无监督自适应和二次解码； 有效特征评分模块对语音流的综合特征进行评分训练，得到评分模型，并根据评分模型对识别结果进行评分。 具体实施方式 4/5 Page 7 CN 111599234 A 7 0050 以上仅为本发明的优选具体实施例，但本发明的保护范围并不局限于此。 任何熟悉本发明公开技术的人员，在本发明的范围内，基于本发明的技术方案和发明构思所作的等同替换或变化，均应包含在本发明的保护范围之内。 使用说明书 5/5 第 8 页 CN 111599234 A 8 图 1 图 2 使用说明书 附图 1/1 第 9 页 CN 111599234 A 9.