TSINGSEE青犀视频云边端架构视频智能分析平台低延迟直播可以用webrtc实现吗?

本文主要是介绍TSINGSEE青犀视频云边端架构视频智能分析平台低延迟直播可以用webrtc实现吗?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目前TSINGSEE青犀视频云边端架构视频智能分析平台都实现了低延迟的视频直播,在我们测试期间最低的直播延迟协议应该属于ws-FLV、RTMP协议了,测试最优延迟可达1s左右。目前国内大部分厂家在用的 RTMP,它相对于 HLS 在服务端做了优化。RTMP 服务端不再进行切片,而是分别转发每一帧,CDN 分发延迟非常小。

GBS4.png

上图是国标视频平台EasyGBS输出的视频流播放界面,可输出三种不同协议的视频流,其中FLV在低延迟直播当中的运用比较常见,同时RTMP也可达到低延迟,大家有兴趣可以研究一下。

而对于越来越高的视频直播要求,我们已经需要探寻更加低延迟的方案,webrtc恰巧就是这一技术发展的新兴之路,这也是TSINGSEE青犀视频研发团队目前不断测试webrtc的价值所在。

在测试过程中,我们发现标准 WebRTC 接入过程会有各种限制,比如它不支持直播中常用音频 AAC 编码和 44.1k 采样率,其它不支持视频 B 帧、H265等编码特性,多 slice 编码在弱网下也会花屏,并且WebRTC 建联过程耗时过长,会影响秒开体验。对此,我们也在寻找更为高效、兼容性更好的协议接入,从而将webrtc用于视频直播当中。

标准 WebRTC 接入的优点:

标准 WebRTC 接入除了 HTTP 建联请求外,全部符合 WebRTC 规范。
标准终端方便接入。
可快速实现原型。

标准 WebRTC 接入的缺点:

建联过程耗时长,使用HTTP情况下达到5RTT,选用HTTPS会更长。
媒体必须加密传输。
音视频有相关限制,使用时需要在服务端转码。

基于webrtc全模块的接入方案,使用webrtc的所有模块,通过对部分模块的修改,实现低延迟直播功能。这个方案的优点很诱人,经过多年发展,它非常成熟,很稳定,同时提供了完整的解决方案,包括 NACK、jitterbuffer、NetEQ 等可直接用于低延迟直播。

但是它的缺点也很很明显,如上图中是WebRTC整体架构,它是一个从采集、渲染、编解码到网络传输的完备的端对端方案,对现有推流端和播放端侵入性极大,复杂度极高。RTC技术栈和直播技术栈存在差异,他不支持B帧、265等特性。在QOS策略方面,WebRTC的原生应用场景是通话,它的基本策略是延迟优于画质,这个策略在直播中不一定成立。包大小:所有webrtc模块全部加入到APP中,包大小至少增加3M。

低延迟直播技术的发展需求越来越明显,它不仅能够提升用户的体验,也能为视频直播的运维带来更加便利的操作,同时,低延迟直播技术也可支持更多业务形态。对此,TSINGSEE青犀视频研发团队仍然在不断测试当中,5G 到来后,网络环境会越来越好,低延迟直播技术会成为直播行业未来的一个技术方向。

云边端.png

如果大家对TSINGSEE青犀视频研发团队对webrtc的开发比较感兴趣,可以翻阅我们以前的相关博文:Visual Studio 2017自建WebRTC中peerconnection_client程序编译报错不匹配问题、WebRTC中实现局域网视频连接的步骤说明介绍。同时也欢迎大家和我们探讨相关内容。

这篇关于TSINGSEE青犀视频云边端架构视频智能分析平台低延迟直播可以用webrtc实现吗?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930757

相关文章

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理?1.2 Spring B

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

如何在 Spring Boot 中实现 FreeMarker 模板

《如何在SpringBoot中实现FreeMarker模板》FreeMarker是一种功能强大、轻量级的模板引擎,用于在Java应用中生成动态文本输出(如HTML、XML、邮件内容等),本文... 目录什么是 FreeMarker 模板?在 Spring Boot 中实现 FreeMarker 模板1. 环

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Spring Security自定义身份认证的实现方法

《SpringSecurity自定义身份认证的实现方法》:本文主要介绍SpringSecurity自定义身份认证的实现方法,下面对SpringSecurity的这三种自定义身份认证进行详细讲解,... 目录1.内存身份认证(1)创建配置类(2)验证内存身份认证2.JDBC身份认证(1)数据准备 (2)配置依

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式