从零开始写一个RTSP服务器(三)RTP传输H.264

2024-04-16 05:28

本文主要是介绍从零开始写一个RTSP服务器(三)RTP传输H.264,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 一、RTP封装
    • 1.1 RTP数据结构
    • 1.2 源码
  • 二、H.264的RTP打包
    • 2.1 H.264格式
    • 2.2 H.264的RTP打包方式
    • 2.3 H.264 RTP包的时间戳计算
    • 2.4 源码
  • 三、H.264 RTP打包的sdp描述
  • 四、测试

本篇文章目标,使用vlc打开sdp文件后,可以观看到视频数据

一、RTP封装

1.1 RTP数据结构

RTP包格式前面已经比较详细的介绍过,参考从零开始写一个RTSP服务器(一)不一样的RTSP协议讲解

看一张RTP头的格式图回忆一下

在这里插入图片描述
每个RTP包都包含这样一个RTP头部和RTP数据,为了方便,我将这个头部封装成一个结构体,还有发送包封装成一个函数,下面来看一看

RTP头结构体

/*
* 作者:_JT_
* 博客:https://blog.csdn.net/weixin_42462202
*/struct RtpHeader{/* byte 0 */uint8_t csrcLen:4;uint8_t extension:1;uint8_t padding:1;uint8_t version:2;/* byte 1 */uint8_t payloadType:7;uint8_t marker:1;/* bytes 2,3 */uint16_t seq;/* bytes 4-7 */uint32_t timestamp;/* bytes 8-11 */uint32_t ssrc;};

其中的:n是一种位表示法,这个结构体跟RTP的头部一一对应

RTP的发包函数
RTP包

struct RtpPacket
{struct RtpHeader rtpHeader;uint8_t payload[0];
};

这是我封装的一个RTP包,包含一个RTP头部和RTP载荷,uint8_t payload[0]并不占用空间,它表示rtp头部接下来紧跟着的地址,灵活数组成员 payload[0] 在结构体中的作用是为了实现动态长度的数组,动态长度的意思是数组的长度在运行时确定,而不是在编译时确定。

RTP的发包函数

/** 函数功能:发送RTP包* 参数 socket:表示本机的udp套接字* 参数 ip:表示目的ip地址* 参数 port:表示目的的端口号* 参数 rtpPacket:表示rtp包* 参数 dataSize:表示rtp包中载荷的大小* 放回值:发送字节数*/
int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
{struct sockaddr_in addr;int ret;addr.sin_family = AF_INET;addr.sin_port = htons(port);addr.sin_addr.s_addr = inet_addr(ip);rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,(struct sockaddr*)&addr, sizeof(addr));rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);return ret;
}

仔细看这个函数你应该可以看懂

我们设置好一个包之后,就会调用这个函数发送指定目标

这个函数中多处使用htons等函数,是因为RTP是采用网络字节序(大端模式),所以要将主机字节字节序转换为网络字节序

下面给出源码,rtp.hrtp.c,这两个文件在后面讲经常使用

1.2 源码

rtp.h

/** 作者:_JT_* 博客:https://blog.csdn.net/weixin_42462202*/#ifndef _RTP_H_
#define _RTP_H_
#include <stdint.h>#define RTP_VESION              2#define RTP_PAYLOAD_TYPE_H264   96
#define RTP_PAYLOAD_TYPE_AAC    97#define RTP_HEADER_SIZE         12
#define RTP_MAX_PKT_SIZE        1400/***    0                   1                   2                   3*    7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0*   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*   |V=2|P|X|  CC   |M|     PT      |       sequence number         |*   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*   |                           timestamp                           |*   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*   |           synchronization source (SSRC) identifier            |*   +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+*   |            contributing source (CSRC) identifiers             |*   :                             ....                              :*   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+**/
struct RtpHeader
{/* byte 0 */uint8_t csrcLen:4;uint8_t extension:1;uint8_t padding:1;uint8_t version:2;/* byte 1 */uint8_t payloadType:7;uint8_t marker:1;/* bytes 2,3 */uint16_t seq;/* bytes 4-7 */uint32_t timestamp;/* bytes 8-11 */uint32_t ssrc;
};struct RtpPacket
{struct RtpHeader rtpHeader;uint8_t payload[0];
};void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,uint16_t seq, uint32_t timestamp, uint32_t ssrc);
int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize);#endif //_RTP_H_

rtp.c

/** 作者:_JT_* 博客:https://blog.csdn.net/weixin_42462202*/#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <arpa/inet.h>#include "rtp.h"void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,uint16_t seq, uint32_t timestamp, uint32_t ssrc)
{rtpPacket->rtpHeader.csrcLen = csrcLen;rtpPacket->rtpHeader.extension = extension;rtpPacket->rtpHeader.padding = padding;rtpPacket->rtpHeader.version = version;rtpPacket->rtpHeader.payloadType =  payloadType;rtpPacket->rtpHeader.marker = marker;rtpPacket->rtpHeader.seq = seq;rtpPacket->rtpHeader.timestamp = timestamp;rtpPacket->rtpHeader.ssrc = ssrc;
}int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
{struct sockaddr_in addr;int ret;addr.sin_family = AF_INET;addr.sin_port = htons(port);addr.sin_addr.s_addr = inet_addr(ip);rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,(struct sockaddr*)&addr, sizeof(addr));rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);return ret;
}

二、H.264的RTP打包

2.1 H.264格式

H.264由一个一个的NALU组成,每个NALU之间使用00 00 00 0100 00 01分隔开

每个NALU的第一次字节都有特殊的含义,其内容如下

在这里插入图片描述
好,对于H.264格式了解这么多就够了,我们的目的是想从一个H.264的文件中将一个一个的NALU提取出来,然后封装成RTP包,下面介绍如何将NALU封装成RTP包

2.2 H.264的RTP打包方式

H.264可以由三种RTP打包方式

单NALU打包

一个RTP包包含一个完整的NALU

聚合打包

对于较小的NALU,一个RTP包可包含多个完整的NALU

分片打包

对于较大的NALU,一个NALU可以分为多个RTP包发送

注意:这里要区分好概念,每一个RTP包都包含一个RTP头部和RTP荷载,这是固定的。而H.264发送数据可支持三种RTP打包方式

比较常用的是单NALU打包分片打包,本文也只介绍这两种

单NALU打包
所谓单NALU打包就是将一整个NALU的数据放入RTP包的载荷中

这是最简单的一种方式,无需过多的讲解

分片打包
每个RTP包都有大小限制的,因为RTP一般都是使用UDP发送,UDP没有流量控制,所以要限制每一次发送的大小,所以如果一个NALU的太大,就需要分成多个RTP包发送,如何分成多个RTP包,下面来好好讲一讲

首先要明确,RTP包的格式是绝不会变的,永远多是RTP头+RTP载荷
在这里插入图片描述
RTP头部是固定的,那么只能在RTP载荷中去添加额外信息来说明这个RTP包是表示同一个NALU

如果是分片打包的话,那么在RTP载荷开始有两个字节的信息,然后再是NALU的内容

在这里插入图片描述
第一个字节位FU Indicator,其格式如下
在这里插入图片描述
高三位(0 1 2):与NALU第一个字节的高三位相同

Type:28,表示该RTP包一个分片,为什么是28?因为H.264的规范中定义的,此外还有许多其他Type,这里不详讲,代码表示方式如下:

 rtpPacket->payload[0] = (naluType & 0x60) | 28;

第二个字节位FU Header,其格式如下
在这里插入图片描述
S:标记该分片打包的第一个RTP包,只有第一个包的最高位被置1

E:比较该分片打包的最后一个RTP包,最后一个包第二高位被置1

Type:NALU的Type

代码表示如下:

rtpPacket->payload[1] = naluType & 0x1F;if (i == 0) //第一包数据rtpPacket->payload[1] |= 0x80; // start
else if (remainPktSize == 0 && i == pktNum - 1) //最后一包数据rtpPacket->payload[1] |= 0x40; // end

2.3 H.264 RTP包的时间戳计算

RTP包的时间戳起始值是随机的

RTP包的时间戳增量怎么计算?

假设时钟频率为90000,帧率为25

频率为90000表示一秒用90000点来表示

帧率为25,那么一帧就是1/25秒

所以一帧有90000*(1/25)=3600个点来表示

因此每一帧数据的时间增量为3600

2.4 源码

rtp_h264.c
这里给出rtp发送H.264的源码

/** 作者:_JT_* 博客:https://blog.csdn.net/weixin_42462202* 注释添加:call_me_wangcheng*/#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>#include "rtp.h"#define H264_FILE_NAME  "test.h264"
#define CLIENT_IP       "127.0.0.1" //运行可执行程序设备的IP地址(可执行程序就是这个编译后的程序)
#define CLIENT_PORT     9832        //端口号#define FPS             25static inline int startCode3(char* buf)
{if(buf[0] == 0 && buf[1] == 0 && buf[2] == 1)return 1;elsereturn 0;
}static inline int startCode4(char* buf)
{if(buf[0] == 0 && buf[1] == 0 && buf[2] == 0 && buf[3] == 1)return 1;elsereturn 0;
}static char* findNextStartCode(char* buf, int len)
{int i;if(len < 3)return NULL;for(i = 0; i < len-3; ++i){if(startCode3(buf) || startCode4(buf))return buf;++buf;}if(startCode3(buf))return buf;return NULL;
}static int getFrameFromH264File(int fd, char* frame, int size)
{int rSize, frameSize;char* nextStartCode;if(fd < 0)return fd;rSize = read(fd, frame, size);if(!startCode3(frame) && !startCode4(frame))return -1;nextStartCode = findNextStartCode(frame+3, rSize-3);if(!nextStartCode){lseek(fd, 0, SEEK_SET);frameSize = rSize;}else{frameSize = (nextStartCode-frame);lseek(fd, frameSize-rSize, SEEK_CUR);}return frameSize;
}static int createUdpSocket()
{int fd;int on = 1;fd = socket(AF_INET, SOCK_DGRAM, 0);if(fd < 0)return -1;setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (const char*)&on, sizeof(on));return fd;
}static int rtpSendH264Frame(int socket, char* ip, int16_t port,struct RtpPacket* rtpPacket, uint8_t* frame, uint32_t frameSize)
{uint8_t naluType; // nalu第一个字节int sendBytes = 0;int ret;naluType = frame[0];if (frameSize <= RTP_MAX_PKT_SIZE) // nalu长度小于最大包场:单一NALU单元模式{/**   0 1 2 3 4 5 6 7 8 9*  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*  |F|NRI|  Type   | a single NAL unit ... |*  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*/memcpy(rtpPacket->payload, frame, frameSize);ret = rtpSendPacket(socket, ip, port, rtpPacket, frameSize);if(ret < 0)return -1;rtpPacket->rtpHeader.seq++;sendBytes += ret;if ((naluType & 0x1F) == 7 || (naluType & 0x1F) == 8) // 如果是SPS、PPS就不需要加时间戳goto out;}else // nalu长度小于最大包场:分片模式{/**  0                   1                   2*  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3* +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+* | FU indicator  |   FU header   |   FU payload   ...  |* +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+*//**     FU Indicator*    0 1 2 3 4 5 6 7*   +-+-+-+-+-+-+-+-+*   |F|NRI|  Type   |*   +---------------+*//**      FU Header*    0 1 2 3 4 5 6 7*   +-+-+-+-+-+-+-+-+*   |S|E|R|  Type   |*   +---------------+*/int pktNum = frameSize / RTP_MAX_PKT_SIZE;       // 有几个完整的包int remainPktSize = frameSize % RTP_MAX_PKT_SIZE; // 剩余不完整包的大小int i, pos = 1;/* 发送完整的包 */for (i = 0; i < pktNum; i++){rtpPacket->payload[0] = (naluType & 0x60) | 28;rtpPacket->payload[1] = naluType & 0x1F;if (i == 0) //第一包数据rtpPacket->payload[1] |= 0x80; // startelse if (remainPktSize == 0 && i == pktNum - 1) //最后一包数据rtpPacket->payload[1] |= 0x40; // end//因为payload[1]已经包含了nalu_type,所以frame的地址需要加一,因为分隔符后的第一个字节表示nalu_typememcpy(rtpPacket->payload+2, frame+pos, RTP_MAX_PKT_SIZE);ret = rtpSendPacket(socket, ip, port, rtpPacket, RTP_MAX_PKT_SIZE+2);if(ret < 0)return -1;rtpPacket->rtpHeader.seq++;sendBytes += ret;pos += RTP_MAX_PKT_SIZE;}/* 发送剩余的数据 */if (remainPktSize > 0){rtpPacket->payload[0] = (naluType & 0x60) | 28;rtpPacket->payload[1] = naluType & 0x1F;rtpPacket->payload[1] |= 0x40; //end//原博主提供的代码这里进行了+2操作,按照我的理解-1都行,有懂得,在评论区教教我memcpy(rtpPacket->payload+2, frame+pos, remainPktSize+2);ret = rtpSendPacket(socket, ip, port, rtpPacket, remainPktSize+2);if(ret < 0)return -1;rtpPacket->rtpHeader.seq++;sendBytes += ret;}}out:return sendBytes;
}int main(int argc, char* argv[])
{int socket;int fd;int fps = 25;int startCode;struct RtpPacket* rtpPacket;uint8_t* frame;uint32_t frameSize;fd = open(H264_FILE_NAME, O_RDONLY);if(fd < 0){printf("failed to open %s\n", H264_FILE_NAME);return -1;}socket = createUdpSocket();if(socket < 0){printf("failed to create socket\n");return -1;}rtpPacket = (struct RtpPacket*)malloc(500000);frame = (uint8_t*)malloc(500000);rtpHeaderInit(rtpPacket, 0, 0, 0, RTP_VESION, RTP_PAYLOAD_TYPE_H264, 0,0, 0, 0x88923423);while(1){frameSize = getFrameFromH264File(fd, frame, 500000);if(frameSize < 0){printf("read err\n");continue;}if(startCode3(frame))startCode = 3;elsestartCode = 4;frameSize -= startCode;rtpSendH264Frame(socket, CLIENT_IP, CLIENT_PORT,rtpPacket, frame+startCode, frameSize);rtpPacket->rtpHeader.timestamp += 90000/FPS;usleep(1000*1000/fps);}free(rtpPacket);free(frame);return 0;
}

三、H.264 RTP打包的sdp描述

sdp文件有什么用?

sdp描述着媒体信息,当使用vlc打开这个sdp文件后,会根据这些信息做相应的操作(创建套接字…),然后等待接收RTP包

这里给出RTP打包H.264的sdp文件,并描述每一行是什么意思

m=video 9832 RTP/AVP 96 
a=rtpmap:96 H264/90000
a=framerate:25
c=IN IP4 127.0.0.1

这个一个媒体级的sdp描述,关于sdp文件描述详情可看从零开始写一个RTSP服务器(一)不一样的RTSP协议讲解

m=video 9832 RTP/AVP 96

格式为 m=<媒体类型> <端口号> <传输协议> <媒体格式 >
媒体类型:video,表示这是一个视频流

端口号:9832,表示UDP发送的目的端口为9832

传输协议:RTP/AVP,表示RTP OVER UDP,通过UDP发送RTP包

媒体格式:表示负载类型(payload type),一般使用96表示H.264

a=rtpmap:96 H264/90000

格式为a=rtpmap:<媒体格式><编码格式>/<时钟频率>

a=framerate:25

表示帧率

c=IN IP4 127.0.0.1

IN:表示internet

IP4:表示IPV4

127.0.0.1:表示UDP发送的目的地址为127.0.0.1

特别注意:这段sdp文件描述的udp发送的目的IP为127.0.0.1,目的端口为9832

四、测试

讲上面给出的源码rtp.c、rtp.h、rtp_h264.c保存下来,然后编译运行

注意:该程序默认打开的是test.h264,如果你没有视频源,可以从RtspServer的example目录下获取

gcc rtp.c rtp_h264.c
./a.out

讲上面的sdp文件保存为rtp_h264.sdp,使用vlc打开,即可观看到视频

运行效果
在这里插入图片描述
至此,我们已经完成了RTSP协议交互和RTP打包H.264,下一篇文章就可以来实现一个播放H.264的RTSP服务器了

原文链接:http://t.csdnimg.cn/svr1b

这篇关于从零开始写一个RTSP服务器(三)RTP传输H.264的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/907898

相关文章

Linux服务器数据盘移除并重新挂载的全过程

《Linux服务器数据盘移除并重新挂载的全过程》:本文主要介绍在Linux服务器上移除并重新挂载数据盘的整个过程,分为三大步:卸载文件系统、分离磁盘和重新挂载,每一步都有详细的步骤和注意事项,确保... 目录引言第一步:卸载文件系统第二步:分离磁盘第三步:重新挂载引言在 linux 服务器上移除并重新挂p

Apache服务器IP自动跳转域名的问题及解决方案

《Apache服务器IP自动跳转域名的问题及解决方案》本教程将详细介绍如何通过Apache虚拟主机配置实现这一功能,并解决常见问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,... 目录​​问题背景​​解决方案​​方法 1:修改 httpd-vhosts.conf(推荐)​​步骤

Linux云服务器手动配置DNS的方法步骤

《Linux云服务器手动配置DNS的方法步骤》在Linux云服务器上手动配置DNS(域名系统)是确保服务器能够正常解析域名的重要步骤,以下是详细的配置方法,包括系统文件的修改和常见问题的解决方案,需要... 目录1. 为什么需要手动配置 DNS?2. 手动配置 DNS 的方法方法 1:修改 /etc/res

Ubuntu向多台主机批量传输文件的流程步骤

《Ubuntu向多台主机批量传输文件的流程步骤》:本文主要介绍在Ubuntu中批量传输文件到多台主机的方法,需确保主机互通、用户名密码统一及端口开放,通过安装sshpass工具,准备包含目标主机信... 目录Ubuntu 向多台主机批量传输文件1.安装 sshpass2.准备主机列表文件3.创建一个批处理脚

Nginx屏蔽服务器名称与版本信息方式(源码级修改)

《Nginx屏蔽服务器名称与版本信息方式(源码级修改)》本文详解如何通过源码修改Nginx1.25.4,移除Server响应头中的服务类型和版本信息,以增强安全性,需重新配置、编译、安装,升级时需重复... 目录一、背景与目的二、适用版本三、操作步骤修改源码文件四、后续操作提示五、注意事项六、总结一、背景与

Web服务器-Nginx-高并发问题

《Web服务器-Nginx-高并发问题》Nginx通过事件驱动、I/O多路复用和异步非阻塞技术高效处理高并发,结合动静分离和限流策略,提升性能与稳定性... 目录前言一、架构1. 原生多进程架构2. 事件驱动模型3. IO多路复用4. 异步非阻塞 I/O5. Nginx高并发配置实战二、动静分离1. 职责2

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令:简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令:新一代网络配置全

Python开发简易网络服务器的示例详解(新手入门)

《Python开发简易网络服务器的示例详解(新手入门)》网络服务器是互联网基础设施的核心组件,它本质上是一个持续运行的程序,负责监听特定端口,本文将使用Python开发一个简单的网络服务器,感兴趣的小... 目录网络服务器基础概念python内置服务器模块1. HTTP服务器模块2. Socket服务器模块

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言:系统版本查询的重要性二、基础命令解析:cat /etc/Centos-release详