NES 模拟器中音画同步问题

2024-01-13 06:20

本文主要是介绍NES 模拟器中音画同步问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景

模拟器是与游戏和播放器都有相似之处的系统。模拟器与游戏的相似之处,在于都需要一个采集输入–执行逻辑–然后按一定帧率(通常是 60 FPS)把画面显示出来的循环。但是模拟器又需要模拟音频设备,播放音频设备产生的声音样本,这点与播放器相似。与播放器一样,模拟器也要处理音、视频同步问题,但是模拟器的特别之处又导致它与播放器的音、视频同步问题不太一样,解决方案也不一样。

有什么问题?

考虑下面这个渲染循环,初看之下这个循环做了该做的事,好像是没有问题的。

while (keep_running) {next_frame_time = time_now() + 16.667;emu_run_one_frame();audio_play(emu_get_audio_samples());video_render(emu_get_video_frame());sleep_until(next_frame_time);
}

但如果你照着去实现,就会发现存在下列问题。

问题一,噪声

上面的渲染循环对于画面渲染来说可能已经够了,但是对于声音来讲就不够了。人耳是很灵敏的,声音中有一点不连贯都会被人耳察觉。由于 sleep_until 不可能像硬件一样精确,因此可能某一帧 audio_play 送出去的样本就会 “晚点”,一旦样本 “晚点” 声音就会出现不连贯,这时就会听到 “嗞嗞” 声。

为了避免不连贯,通常的做法就是多累积一些声音样本,但这样又会带来第二个问题。

问题二,画面与操作不同步

要累积足够的样本,需要提前缓存足够的帧。虽然音频不出现问题了,但是由于视频帧是提前产生的,所以玩家看到的画面就是过时的,这时玩家再进行操作就太迟了。

这里,我们也可以看到游戏主机模拟器与播放器的不同。游戏主机需要采集玩家的输入,而玩家的输入又与看到的画面有关,因此不能缓存,需要实时。

问题三,音画不同步

除了提前缓存可以避免声音不连贯,将每帧的时间间隔减小也可以避免问题,但这也是一个不可取的方法。

比如将帧间隔时间改为 16 毫秒,则视频帧率为 62.5 FPS,但是音频依然是按原速率播放的,只是噪音没有了而已。这样要不了多久,音频就会明显落后于画面。而且,由于音频样本累积的速度比实际播放速度快,待播放的样本会越来越多,内存的占用量也会慢慢变大!

解法一,修改 APU 实现

声音样本是由模拟的 APU 产生的,观察 APU 的内部结构不难发现,NES 的 APU 可以看作是一个包含 5 个振荡器的 PSG。从 NES 程序的角度看,播放音乐就是在特定的时间顺序对振荡器进行编程,使之产生相应波形。又或者说,播放音乐就是在特定的时间点调用振荡器 API,控制它产生想要的波形。

因此,可以自己实现一些振荡器,把对 APU 的控制翻译成对振荡器的 API 调用:

class APU {/* ... */void write_register(uint16_t addr, uint8_t data) {switch (addr) {case 0x4002:_pulse1.set_freq(/* ... */); // 根据计时器值 data 计算出频率break;/* ... */}}
private:PulseOscillator _pulse1, _pulse2;
};

不过,以上方案需要注意时机问题。因为模拟器一般是一帧一帧地模拟,一帧中,write_register 会被调用多次。原本的 NES 程序对 APU 的控制是很精细的,到模拟器中就会变得粗糙,只能在一帧中对 APU 进行集中式设置。

要达到原本 NES 程序那样的精细程度,需要做到可以在指定的时间点调用振荡器 API。这个时间点怎么计算呢?我们知道,NES CPU 的时钟频率是 1.789773 MHz,而 APU 的时钟频率是 CPU 的一半,约 894.8865 KHz,可以算出一个 APU 时钟周期是 1117.5 ns。如果 CPU 在 APU 时钟 c 的时候写入了 $4002 寄存器,更改了方波通道 1 的频率,那么这个更改就应该在 t0 + c * 1117.5ns 时刻生效(其中,t0 表示 APU 时钟周期 0 的真实时间)。以下是修改过的版本:

class APU {/* ... */void write_register(uint16_t addr, uint8_t data) {switch (addr) {case 0x4002:post_timed_task([](){_pulse1.set_freq(/* ... */);}, now());break;/* ... */}}
private:unsigned long long now() const {return _t0 + (unsigned long long)(_elpased_cycle * 1117.5);}PulseOscillator _pulse1, _pulse2;unsigned long long _t0, _elapsed_cycle;
};

这个方案的缺点我认为是比优点多的,它唯一的优点可能就是没有动到渲染循环,而缺点则主要有以下两点。

首先,是需要额外的工作量。APU 的声音通道已经是振荡器了,为了播放声音,还需要再实现一套振荡器,增加了工作量。此外,post_timed_task 还牵涉到实现定时器、任务队列及多线程的一些东西。

其次,不够精确。前面提到,sleep_until 是不精确的,虽然音画是同步的,但是由于 sleep_until 的误差,会导致整个模拟是有误差的。随着时间增加,误差会越来越大,运行一段时间后,就会发现你的模拟器比市面上的流行模拟器慢很多。音乐听起来也可能不对劲,好像降了调一样。

解法二,改进渲染循环

通过前文的介绍,不难发现,问题的主要原因可以归结为 sleep_until 不精确。事实上,如果边产生样本边播放,再精确都不太够。一定得是先缓存一部分样本,然后赶在样本播放完毕前,送入新的样本。因此,只提高 sleep_until 的精度是不够的,还需要让渲染循环有某种自适应的能力,能够自动调整每帧间隔。要做到这点,可以在 sleep_until 结束后再获取一次时间。如果比预定时间早,下一帧时间可以适当延后;如果晚点,就适当提前一点。虽然思路是这个思路,但是实现上有比获取时间更靠谱的方案,就是计算播放了多少个样本。因为在一帧的时间内,模拟器可能没有产生足够的样本。以采样率 44.1 K 为例,一帧的时间内模拟器应该要产生 735 个样本,但实际上模拟器可能只产生 734 个样本。即使时间间隔弄对了,虽然只有一个样本的差别,但还是会听到恼人的噪音。

基于上面的思路,更新后的渲染循环如下:

constexpr auto sample_interval = 1e3/44100.0; // 采样间隔,毫秒int samples_to_play = 0;
auto t0 = time_now();
auto next_frame_time = t0;while (keep_running) {sleep_until(next_frame_time);auto now = time_now();auto elapsed_time = now - t0;auto samples_played = elapsed_time / sample_interval;t0 = now;// 结合后面,这里可以让下一帧的时间提前大概 2 个样本的时间(约 44 微秒)// 这样就能在样本播放完毕之前送入新的样本samples_to_play -= samples_played + 2;if (samples_to_play < -490) {// 延迟过于严重,魔法数 490 可以自由选择,取决怎么认定 “严重”samples_to_play = 0;}emu_run_one_frame();samples_to_play += emu_get_num_samples();audio_play(emu_get_samples());video_render(emu_get_video());next_frame_time = now + samples_to_play * sample_interval;
}

现在终于有一个堪用的渲染循环了,但是 sleep_until 的误差还是会带来一些问题。如果 sleep_until 的误差太大,导致帧间隔波动明显,画面的不连贯就会被人眼察觉到。sleep_until 最精确的实现方式大概就是如下的忙等,不过也看得出来,这样方式实在不优雅。

void sleep_until(double when) {while (time_now() < when);
}

最节约 CPU 的方式当然就是直接使用系统的 sleep,前面谈到,这种方式误差太大。讲到这里,其实一个可行的方案就呼之欲出了 – 把这两个方案综合一下就能得到一个精度可以接受的 sleep_until 函数了。

void sleep_until(double when) {// 硬编码的误差值,毫秒constexpr auto error = 1.5;auto sleep_time = round(when - time_now() - error);if (sleep_time > 0) {sleep(sleep_time);}while (time_now() < when);
}

如果是在 Windows 平台,还需要额外使用 timeBeginPeriod 函数才能让 sleep 的误差更加可控。

总结

本文探讨了模拟器中的音画同步问题,分析了各个原因,并提供了相应的解决方案。如果读者朋友正在实现模拟器,遇到了同样的问题,希望能有所启发。本文提到的解法二,对于实现游戏循环也是一个参考。

当然,同样的问题不同的人会给出不同的解法。对于本文提到的问题,欢迎读者朋友在评论区留下您的见解与思考。

这篇关于NES 模拟器中音画同步问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/600515

相关文章

Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

《Python错误AttributeError:NoneTypeobjecthasnoattribute问题的彻底解决方法》在Python项目开发和调试过程中,经常会碰到这样一个异常信息... 目录问题背景与概述错误解读:AttributeError: 'NoneType' object has no at

Spring的RedisTemplate的json反序列泛型丢失问题解决

《Spring的RedisTemplate的json反序列泛型丢失问题解决》本文主要介绍了SpringRedisTemplate中使用JSON序列化时泛型信息丢失的问题及其提出三种解决方案,可以根据性... 目录背景解决方案方案一方案二方案三总结背景在使用RedisTemplate操作redis时我们针对

Kotlin Map映射转换问题小结

《KotlinMap映射转换问题小结》文章介绍了Kotlin集合转换的多种方法,包括map(一对一转换)、mapIndexed(带索引)、mapNotNull(过滤null)、mapKeys/map... 目录Kotlin 集合转换:map、mapIndexed、mapNotNull、mapKeys、map

nginx中端口无权限的问题解决

《nginx中端口无权限的问题解决》当Nginx日志报错bind()to80failed(13:Permissiondenied)时,这通常是由于权限不足导致Nginx无法绑定到80端口,下面就来... 目录一、问题原因分析二、解决方案1. 以 root 权限运行 Nginx(不推荐)2. 为 Nginx

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操