P12 音视频复合流——TS流讲解

2024-01-07 06:36
文章标签 讲解 复合 ts 音视频 p12

本文主要是介绍P12 音视频复合流——TS流讲解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 前言 

                             

从本章开始我们将要学习嵌入式音视频的学习了 ,使用的瑞芯微的开发板

🎬 个人主页:@ChenPi

🐻推荐专栏1: 《C++_@ChenPi的博客-CSDN博客》✨✨✨ 

🔥 推荐专栏2: 《Linux C应用编程(概念类)_@ChenPi的博客-CSDN博客》✨✨✨

🛸推荐专栏3:《嵌入式音视频_@ChenPi的博客-CSDN博客》
🌺本篇简介  :本章讲解音视频中的复合流——ts流

 01 什么是复合流

复合流是指在一条音视频数据流中同时包含视频ES和音频ES数据。

常见的复合流一般为TS流,MP4流,FLV流

02 TS流的介绍

TS流:英文全称为Transport Stream(传输流)。它由MPEG公司推出的全新MPEG2的压缩标准,TS流的出现是为了让音视频的实时交互更加方便,并且随着数字电视的发展,TS流数据在电视领域,网络音视频领域也有很大作用。

03 TS流的格式

TS流的格式大概分为三层,它分别为Transport Stream层,Packet Element Stream层,Element Stream层。

  

  1. es层就是音视频数据
  2. pes层是在音视频数据上加了时间戳等对数据帧的说明信息
  3. ts层就是在pes层加入数据流的识别和传输必须的信息

04 Transport Stream层讲解

Transport Stream层主要有三个部分组成,TS Header ,ADaption Field,TS Payload

  1. TS Header:TS Header为头部
  2. ADaptation Field:可能存在也可能不存在,主要作用是给不足188字节的数据做填充
  3. TS payload:pes数据

TS Header头部信息(四字节) 

就是4个Bit

 ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。

解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。

PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。

PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过ts流只要有PAT和PMT就可以播放了。

  • PAT表:他主要的作用就是指明了PMT表的PID值。

  • PMT表:他主要的作用就是指明了音视频流的PID值。

  • 音频流/视频流:承载音视频内容。

ADaption Field

四BIT后就是自适应区

DTS、PTS 的概念如下所述: 

  • DTS(Decoding Time Stamp):即解码时间戳,这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
  • PTS(Presentation Time Stamp):即显示时间戳,这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

Adaptional Field Length指的是自适应长度,它主要包含传输错误标识符的字节。

PCR是节目时钟参考表,PCR的PTS和DTS都是对同一个系统时间进行采样,PCR的值是逐渐递增的。在对TS流打包的时候,PAT表和PMT表是没有Adaptional Field,若长度不够则使用0xff.

4.1 PAT表(定义了当前TS流中的所有节目、要查询节目必须从PAT表开始)

4.2 PMT表格(查询当前节目中所有的PID信息,比方说包含多少个VIDEO、AUDIO)

  

05 PES (Packet Element Stream)

PES层的结构是包含在TS层PAYLOAD里面的,PES层的主要功能是在每一帧音视频数据帧添加时间戳内容。比方说在用FFPLAY或者VLC播放TS文件的时候,会出现关于PTS、DTS的数据,这就是PES层的作用。

  

以下是比较常用的 PES包信息

   

 pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。

音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。

打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。

06  ES层结构:

ES数据流就是我们常说的裸流数据,这其中就包括视频裸流数据(H264/HEVC)、音频裸流数据(AAC)。可以看主页前几章得文章

这篇关于P12 音视频复合流——TS流讲解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/579017

相关文章

Java进程CPU使用率过高排查步骤详细讲解

《Java进程CPU使用率过高排查步骤详细讲解》:本文主要介绍Java进程CPU使用率过高排查的相关资料,针对Java进程CPU使用率高的问题,我们可以遵循以下步骤进行排查和优化,文中通过代码介绍... 目录前言一、初步定位问题1.1 确认进程状态1.2 确定Java进程ID1.3 快速生成线程堆栈二、分析

javascript fetch 用法讲解

《javascriptfetch用法讲解》fetch是一个现代化的JavaScriptAPI,用于发送网络请求并获取资源,它是浏览器提供的全局方法,可以替代传统的XMLHttpRequest,这篇... 目录1. 基本语法1.1 语法1.2 示例:简单 GET 请求2. Response 对象3. 配置请求

Java Stream.reduce()方法操作实际案例讲解

《JavaStream.reduce()方法操作实际案例讲解》reduce是JavaStreamAPI中的一个核心操作,用于将流中的元素组合起来产生单个结果,:本文主要介绍JavaStream.... 目录一、reduce的基本概念1. 什么是reduce操作2. reduce方法的三种形式二、reduce

CSS引入方式和选择符的讲解和运用小结

《CSS引入方式和选择符的讲解和运用小结》CSS即层叠样式表,是一种用于描述网页文档(如HTML或XML)外观和格式的样式表语言,它主要用于将网页内容的呈现(外观)和结构(内容)分离,从而实现... 目录一、前言二、css 是什么三、CSS 引入方式1、行内样式2、内部样式表3、链入外部样式表四、CSS 选

MySQL 复合查询案例详解

《MySQL复合查询案例详解》:本文主要介绍MySQL复合查询案例详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录基本查询回顾多表笛卡尔积子查询与where子查询多行子查询多列子查询子查询与from总结合并查询(不太重要)union基本查询回顾查询

MySQL复合查询从基础到多表关联与高级技巧全解析

《MySQL复合查询从基础到多表关联与高级技巧全解析》本文主要讲解了在MySQL中的复合查询,下面是关于本文章所需要数据的建表语句,感兴趣的朋友跟随小编一起看看吧... 目录前言:1.基本查询回顾:1.1.查询工资高于500或岗位为MANAGER的雇员,同时还要满足他们的姓名首字母为大写的J1.2.按照部门

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

C++ vector的常见用法超详细讲解

《C++vector的常见用法超详细讲解》:本文主要介绍C++vector的常见用法,包括C++中vector容器的定义、初始化方法、访问元素、常用函数及其时间复杂度,通过代码介绍的非常详细,... 目录1、vector的定义2、vector常用初始化方法1、使编程用花括号直接赋值2、使用圆括号赋值3、ve

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,:本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步:动态库生成(vs2017+qt5.12.10)第二步:Java调用C++

Python基础文件操作方法超详细讲解(详解版)

《Python基础文件操作方法超详细讲解(详解版)》文件就是操作系统为用户或应用程序提供的一个读写硬盘的虚拟单位,文件的核心操作就是读和写,:本文主要介绍Python基础文件操作方法超详细讲解的相... 目录一、文件操作1. 文件打开与关闭1.1 打开文件1.2 关闭文件2. 访问模式及说明二、文件读写1.