VQE音频处理流程

2024-01-15 01:12
文章标签 音频 流程 处理 vqe

本文主要是介绍VQE音频处理流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

VQE

上行VQE,主要针对MIC采集部分的音频增强

在这里插入图片描述

下行VQE,主要针对SPK播放部分的音频增强

在这里插入图片描述

附关键词解释

  1. RES
    RES 模块为重采样(Resampler)模块。当AI上行或AO下行通路中开启VQE 各功能
    模块时,在处理前后各存在一次重采样,第一次的作用是将输入采样率下的音频数据转换成功能模块所支持的工作采样率(8kHz/16kHz/48kHz),第二次则将工作采样率下的数据转换成输出采样率。

  2. HPF
    HPF为高通滤波(high-pass filte)模块,主要负责去除低频噪声。
    低频噪声来源经常为硬件噪声或工频噪声,表现为轰轰轰类不舒适的声音。我们可以
    通过使用频谱分析单板在安静环境下录制的码流,来确定是否需要加入该模块。如果
    低频噪声不是非常明显,并且客户需要保留低频部分的音源,则不建议加入该模块。

  3. HDR
    HDR为高动态范围(High Dynamic Range)模块,主要用于Codec输入音量控制,通
    过动态调节Codec增益控制Codec音量在合理范围内,保证声音不至于过大或过小。

  4. EQ
    EQ模块为均衡处理器(Equalizer)模块,主要对音频数据进行均衡处理,以调节音频
    数据中各频段声音的增益。

  5. DRC
    DRC为动态压缩控制(Dynamic Range Control)模块,负责控制输出电平,将输出增
    益控制在一个范围,主要工作在需要保证声音不至于过大或过小的场景下。
    DRC与AGC作用相似,但算法实现及调节力度不同。其配合RNR 使用在运动DV场
    景,与AEC/ANR 互斥。

  6. RNR
    RNR为录音噪声消除(Record Noise Reduction)模块,主要工作在需要去除环境噪
    声,但保留小信号输入的场景下。
    与 ANR 算法比起来,RNR 更讲究细节输入(小信号)的保留度,RNR 会在降噪的同
    时保留小信号的输入,所以降噪力度会低一点,但能更多的保留现场声音,真实还原
    场景,适用于运动DV 场景。

  7. AGC
    AGC为自动增益控制(Auto Gain Control)模块,主要负责增益控制输出电平,在声
    音输入音量有大小变化时,能将输出音量控制在比较一致的范围内,主要工作在需要
    保证声音不至于过大或过小的场景下。
    AGC更多起到的作用是放大输入源的声音,以保证音源过小时,经过算法处理后的声
    音依然很大。AI通路如果使能了AGC 功能,那么将不再能够通过调节AI增益来控制
    输出声音大小,需要通过接口来控制声音输出大小。

  8. PEQ
    PEQ 为参量均衡器(Parameter Equalizer)模块,主要对音频数据进行均衡处理,以调
    节音频数据中各频段声音的增益。
    PEQ 与EQ 均为均衡处理器,但是PEQ 调节方式更灵活,适用于运动DV 场景。

  9. AEC
    回声抵消(Acoustic Echo Cancellation)模块,主要工作在需要进行去除回声的
    场景下:如IPC 对讲,远端语音数据在AO 设备上播放,此时在本地通过MIC 采集语
    音数据,它支持消除录制的语音数据中的AO设备播放的声音(回声)。

  10. ANR
    ANR为语音降噪(Audio Noise Reduction)模块,主要工作在需要去除外界噪声,保
    留语音输入的场景下。
    与 RNR 算法比起来,ANR 更讲究噪声处理的干净程度。ANR 会滤除一些环境声音,
    主要保留语音数据,并会带来一定的细节丢失。所以ANR 算法更适用于NVR 和IPC
    场景。在这两个场景下,我们更希望能够着重保留人声,滤除其他噪声。

  11. GAIN
    GAIN 模块是音量调节模块,主要用于调节AGC开启后的音量大小。
    AGC负责对语音的音量进行动态增益控制,算法能够处理的Sin语音电平范围为0dB
    至-40dB,处理完毕后的语音电平最大值为-2dB,并且在语音最大增益方面做到了
    30dB的增益,这使得sout的语音电平能够做到-2dB至-10dB,同时也使得通过调整AI
    增益来调整sout的音量成了一个很困难的事情,因此GAIN模块在VQE 处理流程中位
    于AGC 模块后端,以实现AI上行通路的音量调节。

这篇关于VQE音频处理流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/607150

相关文章

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

解决docker目录内存不足扩容处理方案

《解决docker目录内存不足扩容处理方案》文章介绍了Docker存储目录迁移方法:因系统盘空间不足,需将Docker数据迁移到更大磁盘(如/home/docker),通过修改daemon.json配... 目录1、查看服务器所有磁盘的使用情况2、查看docker镜像和容器存储目录的空间大小3、停止dock

Spring Boot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)

《SpringBoot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)》本文将以一个实际案例(用户管理系统)为例,详细解析SpringBoot中Co... 目录引言:为什么学习Spring Boot分层架构?第一部分:Spring Boot的整体架构1.1

5 种使用Python自动化处理PDF的实用方法介绍

《5种使用Python自动化处理PDF的实用方法介绍》自动化处理PDF文件已成为减少重复工作、提升工作效率的重要手段,本文将介绍五种实用方法,从内置工具到专业库,帮助你在Python中实现PDF任务... 目录使用内置库(os、subprocess)调用外部工具使用 PyPDF2 进行基本 PDF 操作使用

nodejs打包作为公共包使用的完整流程

《nodejs打包作为公共包使用的完整流程》在Node.js项目中,打包和部署是发布应用的关键步骤,:本文主要介绍nodejs打包作为公共包使用的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言一、前置准备二、创建与编码三、一键构建四、本地“白嫖”测试(可选)五、发布公共包六、常见踩坑提醒

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质:有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺

Ubuntu向多台主机批量传输文件的流程步骤

《Ubuntu向多台主机批量传输文件的流程步骤》:本文主要介绍在Ubuntu中批量传输文件到多台主机的方法,需确保主机互通、用户名密码统一及端口开放,通过安装sshpass工具,准备包含目标主机信... 目录Ubuntu 向多台主机批量传输文件1.安装 sshpass2.准备主机列表文件3.创建一个批处理脚

Python异常处理之避免try-except滥用的3个核心原则

《Python异常处理之避免try-except滥用的3个核心原则》在Python开发中,异常处理是保证程序健壮性的关键机制,本文结合真实案例与Python核心机制,提炼出避免异常滥用的三大原则,有需... 目录一、精准打击:只捕获可预见的异常类型1.1 通用异常捕获的陷阱1.2 精准捕获的实践方案1.3

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别