1.FFmpeg开发笔记（三十六）Linux环境安装SRS实现视频直播推流
2.2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）
3.SRS(simple-rtmp-server)流媒体服务器源码分析--启动
4.SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play
5.分析流媒体服务器源码：Rtmp发布流程的码解SRS解析
6.SRS流媒体服务器——单机环境搭建和源码目录介绍

FFmpeg开发笔记（三十六）Linux环境安装SRS实现视频直播推流

       在FFmpeg开发实践中，MediaMTX虽然在《FFmpeg开发实战》一书的码解第章有所提及，但其功能过于基础，码解不适合实际的码解直播生产环境。真正的码解生产级流媒体服务器，如SRS和ZLMediaKit，码解obv买点副图源码更为可靠。码解SRS作为一款国产开源的码解实时视频服务器，支持RTMP、码解WebRTC等多种协议，码解是码解推流（发布）和播放（订阅）服务器模型的典型代表，能处理协议转换，码解如将RTMP转为HLS、码解WebRTC等。码解

       要测试SRS与FFmpeg的码解音视频推拉流，首先在华为欧拉系统上进行编译安装。首先，确保Linux服务器上安装了必要的依赖，如git和patch，然后从gitee下载SRS源码并进行配置和编译。FFmpeg的编译安装步骤可以参考《FFmpeg开发实战》中的相关章节，这里不再详述。

       启动SRS时，需要配置srs.conf文件，开启关键帧缓存，这对于画面渲染至关重要。随后，通过命令行启动SRS服务，并检查（RTMP）和（HTTP）端口是否开启。测试推流时，使用FFmpeg将本地视频推送到SRS，同时用VLC播放器通过RTMP或HTTP协议拉流验证视频是否正常播放。

       总之，SRS与FFmpeg的ice104 源码集成是实现视频直播推流的重要步骤，通过上述操作，开发者可以充分了解和实践这一过程。更多关于FFmpeg的开发内容，可以参考《FFmpeg开发实战》这本书。

年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

       音视频工作领域繁复多样，自学时易陷入迷茫。本文整理出九个前景不错的方向：直播、传输、算法、视频播放器、流媒体后端、短视频、音频播放、视频编辑、图像处理。以下为详细学习路线：

       音视频基础

音频基础知识

视频基础知识

解复用基础知识

FFmpeg开发环境搭建

音视频开发常用工具

       FFmpeg实战教程

FFmpeg命令

SDL跨平台

FFmpeg基石精讲

FFmpeg过滤器

FFmpeg音视频解复用+解码

ffplay播放器

FFmpeg音视频编码+复用合成视频

ffmpeg多媒体

FFmpeg+ QT播放器

       流媒体客户端

RTMP推拉流项目实战

RTSP流媒体实战

HLS拉流分析

       流媒体服务器

SRS源码剖析协程

ZLMediaKit源码剖析

       WebRTC项目实战

WebRTC中级开发实践指南

WebRTC高级开发-SRS 4.0/5.0源码分析

WebRTC高级开发-MESH模型多人通话

WebRTC高级开发-Janus SFU模型多人通话

       Android NDK

Android NDK开发基础

Android FFmpeg编译和应用

Android RTMP推拉流

Android Ijkplayer源码分析

       iOS音视频开发

iOS FFmpeg 6.0编译和应用

iOS FFmpeg RTMP推拉流

VideoToolbox硬件编解码

iOS jkplayer编译和应用

iOS ijkplayer编译和应用

       音视频项目实战

       相关开源网站与地址

       本文涵盖音视频全栈开发技术，适合各类技术人员。

SRS(simple-rtmp-server)流媒体服务器源码分析--启动

       小卒最近探索了SRS源码，并撰写博客以整理思路，方便日后查阅。SRS源码具备以下优势：

       1、轻量化设计，代码结构清晰，SRS3.0版本代码量约为8万行，功能却足以支撑直播业务。

       2、采用State Threads架构，实现高性能、高并发。

       3、支持rtmp和hls，满足PC和移动直播的需求。

       4、传奇魔法锁定源码支持集群部署，适应不同规模的部署需求。

       代码分析分为两个阶段：一、梳理代码框架，理解流程；二、深入细节，熟悉SRS工作原理。

       SRS源码框架包括系统启动、RTMP消息处理、RTMP信息发布、HLS切片等功能模块。系统启动时，初始化类，监听端口，对每个访问请求创建线程，专门处理连接操作。

       系统监听包含不同类型的请求，如RTMP连接、HTTP API等，通过创建线程处理。

       RTMP连接处理中，SRS采用协程而非线程，实现高效并发。创建协程后，进入协程循环处理。

       HTTP API连接监听机制与RTMP类似，仅参数不同。

       HTTP API回调接口在run_master函数中注册，允许访问服务器参数。

       SRS对拉流处理独特，通过ffmpeg工具实现，SRS代码负责简单的系统调用。

       系统启动代码结构清晰，dmp数据平台源码从初始化、监听到线程处理，再到回调注册、拉流处理、自服务，各环节紧密衔接。

       总结SRS源码分析，不仅展现了代码的高效性和扩展性，还提供了灵活的部署方案，适用于多种直播场景。

SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play

       本章内容梳理了SRS在接收到RTMP信息后如何进行转发的过程。在此过程中，首先进行代码梳理，作者也在源码熟悉阶段，可能尚未完全梳理完接受到RTMP后信息如何处理、缓存以及转发给直播用户等内容。

       SRS源码中的Play流程如下：

       1. 进入play流程：本章内容直接从SrsRtmpConn::stream_service_cycle()方法开始梳理。

       2. 在接受流程中，客户类型为SrsRtmpConnFMLEPublish “fmle publish”，而在转发流程中，客户类型为SrsRtmpConnPlay。

       3. 在/ossrs/srs/wiki...，导出后，在research/librtmp下有作者编写的demo，其中srs_rtmp_dump.c用于从rtmp服务器拉流并保存为flv文件。

       以下是简化版的demo源码，我注释了自己的理解，若有错误请指正。在vs下此代码能编译运行，但在linux下能正常播放。

       主要讲述了flv头信息的结构，srs_librtmp源码中srs_flv_write_tag通过data封装成Tag并写入flv文件，srs_rtmp_read_packet读取的玫瑰手机指标源码数据是flv文件中的tag data。

       Tag data分为Audio、Video、Script三种，这里仅讲解Video Tag Data。

       VideoTagHeader的第一个字节包含了视频帧类型及视频CodecID的基本信息。VideoTagHeader之后跟着的是VIDEODATA数据，即video payload，对于H.格式的视频，VideoTagHeader会额外包含4个字节的信息。

       AVCPacketType和CompositionTime。AVCPacketType表示VIDEODATA的内容类型：若AVCPacketType为0，则为AVCDecoderConfigurationRecord（H.序列头）；若为1，则为一个或多个NALU（完整帧是必需的）。

       AVCDecoderConfigurationRecord包含H.解码相关的sps和pps信息，解码器在送数据流之前必须送出sps和pps信息，否则解码器不能正常解码。在解码器停止后再次开始之前，如seek、快进快退状态切换等，都需要重新送出sps和pps的信息。AVCDecoderConfigurationRecord在FLV文件中通常只出现一次，即第一个video tag，但有些视频流的sps和pps可能会发生变化，所以可能会出现多次。

       Composition Time用于告知渲染器视频帧进入解码器后多长时间在设备上显示。在flv格式中，timestamp用于告知帧何时提供给解码器，单位为毫秒。Composition Time告诉渲染器视频帧显示的时间，因此compositionTime = (PTS - DTS) / .0。

       总结如下：使用srs_librtmp拉流，拉取的数据为一个又一个的Tag Data，可通过type与宏值比较判断Tag Data是否为Video Tag Data。连接rtmp服务器拉流时收到的第一个Video Tag Data通常包含PPS和SPS信息。对于每个h编码的Video Tag Data，会多出4个字节的AVCPacketType和CompositionTime，其中CompositionTime用于B帧，这里暂时忽略它，我们仅支持P帧和I帧。Frame Type在h编码中只能是1或2，Frame Type == 1表示关键帧或包含PPS和SPS信息的Video Tag Data。CodecID在h编码中只能是7（AVC）。当AVCPacketType == 0时，Video Tag Data包含SPS和PPS信息；当AVCPacketType == 1时，为帧数据。

       获取PPS和SPS信息非常关键，如果不告知解码器，根本无法播放视频。我写了一段代码，虽然技术有限，但希望能帮助到您。

       AVCPacketType为1表示Video Tag Body的内容是NALU。Frame Type为1表示NALU内容是关键帧，Frame Type为2表示NALU内容是非关键帧。NALU的开头的4个字节表示NALU的长度（nalu_length），nalu_length之后是一个字节的nalu header。

       nalu header中nal_ref_idc表示优先级，范围在~（2进制），值越大表示越重要。值指示NAL单元的内容不用于重建影响图像的帧间图像预测。对于nal_unit_type为6、9、、、的NAL单元，H.规范要求NRI的值应该为0。对于nal_unit_type等于7、8（指示顺序参数集或图像参数集）的NAL单元，H.编码器应设置NRI为（二进制格式）。nal_unit_type表示nalu类型，SPS开头是0x（nal_ref_idc为3，nal_unit_type为7），PPS开头是0x（nal_ref_idc为3，nal_unit_type为8），关键帧开头是0x（nal_ref_idc为3，nal_unit_type为5），非关键帧开头是0x（nal_ref_idc为2，nal_unit_type为1）。nal_unit_type为5表示idr帧，idr帧具有随机访问能力，所以每个idr帧前需要加上sps和pps。startcode起始码。

       H.原始码流由一个一个的NALU组成，其结构包括起始码（0x或0x，取决于编码器实现）和数据。具体何时使用3个字节的起始码，何时使用4个字节的起始码，这个我没有完全弄明白，资料中提到具体哪种开头取决于编码器实现。0x是NAL起始前缀码，解码器检测每个起始码，作为NAL的起始标识，当检测到下一个起始码时，当前NAL结束。同时H.规定，当检测到0x时，也可以表示当前NAL的结束。对于NAL中数据出现0x或0x时，H.引入了防止竞争机制，如果编码器检测到NAL数据存在0x或0x时（非起始码，而是真正的音视频数据），编码器会在最后个字节前插入一个新的字节0x，这样当遇到0x或0x时就一定是起始码了。解码器检测到0x时，把抛弃，恢复原始数据。因此，组装H的步骤如下：读取tag data并判断是否是video tag data，判断frameType和AVCPacketType，区分video tag data是AVCDecoderConfigurationRecord还是NALU，如果是AVCDecoderConfigurationRecord则解析PPS和SPS保存在内存中并加上startcode（我这里加的是0x），如果是NALU，则判断nal_unit_type（有些NALU的流比较奇怪，依然包含PPS、SPS信息，甚至还有SEI信息）。switch case根据不同的nal_unit_type来解析，并加上startcode。如果nal_unit_type == 0x，则是idr帧，需要加上PPS和SPS信息（即一个idr通常包含3个startcode，SPS一个PPS一个idr帧数据一个）。

       以下是完整代码：

       rtmpTo.h

       rtmpTo.cpp

       main.cpp

       原文链接：blog.csdn.net/qq_...

CentOS7下使用SRS搭建流媒体服务器

       本地服务器配置：使用 CentOS7 Linux 系统（版本：3..0-..1.el7.x_），IP 地址为 ...。将服务器角色定位为使用 SRS（Simple Realtime Server）搭建流媒体服务器。SRS 支持 RTMP、HTTP-FLV、HLS、WebRTC 协议。推流端设备采用 ffmpeg + OBS 软件进行流媒体推送，拉流端则可以使用 VLC 播放器或在网页中嵌入 SRS 自带的播放器。测试场景设计为通过 ffmpeg 测试 RTMP 推流功能，然后分别使用 VLC 和 SRS 播放器进行流媒体拉取。

       所需资料与工具：

       链接：pan.baidu.com/s/1x5DyST...（提取码：epxx）

       参考网站与资源：

       GitHub：ossrs/srs（SRS 源码）

       SRS 官网：ossrs.net/（SRS 官方网站）

       GitHub Wiki：ossrs/srs/wi...（SRS 起步知识与文档）

       SRS：如何用 NGINX 搭建 HLS 分发集群（链接：qq.com）（关于使用 NGINX 与 SRS 集成搭建 HLS 分发集群的教程）

       下载 ffmpeg 官方地址：ffmpeg.org/download.htm...（官方 ffmpeg 下载页面）

       1、准备工作与环境搭建（使用 root 用户执行）：

       1.1、安装 CentOS 基础依赖环境

       1.2、关闭与禁用防火墙（避免重启服务器后自动开启）

       1.3、将 ffmpeg、yasm 和 kk.flv 等文件拷贝至 CentOS 主目录下（使用主目录作为存储位置）

       1.4、安装 yasm 编译器

       1.5、安装 ffmpeg

       1.6、修改 /etc/ld.so.conf 文件

       1.7、配置环境变量

       1.8、检查环境变量配置是否生效

       1.9、Windows 下安装 VLC 和 OBS 播放器

       2、SRS 流媒体服务搭建：

       2.1、获取 SRS 源码：

       - 通过官网下载

       - 通过 GitHub 使用**软件下载（推荐）

       - 在国内码云使用 gitee.com/ossrs/srs 下载（推荐）

       2.2、配置与编译 SRS：

       2.3、查看 SRS 配置文件与支持的协议配置（参考 SRS 官方 Wiki）

       2.4、启动与关闭 SRS 服务

       2.5、通过网页控制台查看 SRS 状态

       3、流媒体服务测试：

       3.1、使用 ffmpeg 进行 RTMP 推流测试（注意替换实际值）

       3.2、RTMP、HTTP-FLV、HLS 拉流地址获取与测试（VLC 或网页 SRS 播放器）

       3.3、使用 OBS 播放器进行推流测试（文件推流、摄像头推流与更多推流方式）

       4、扩展与学习资源：

       4.1、Windows 下搭建 nginx-rtmp 流媒体服务器（参考教程）

       4.2、深入学习 SRS 相关知识与技巧（访问 GitHub Wiki 或 SRS 官方网站）

SRS4.0源代码分析之WebRTC服务总体介绍

       SRS4.0的WebRTC服务提供了一种强大的实时音视频通信解决方案，它基于Web标准，支持浏览器之间的双向通信。SRS4.0引入WebRTC的主要目的是为了增强服务器的SFU（服务器转发单元）功能，以优化客户端接入和降低音视频处理对服务器CPU的负担。通过部署SFU，客户端可以将本地音视频数据推送到服务器，同时服务器根据需要拉取数据，实现低延迟的直播连麦场景。

       WebRTC涉及的知识点广泛，包括SDP报文处理、ICE连接建立、DTLS加密等，但SRS4.0的重点在于简化用户对WebRTC的理解。SRS4.0 WebRTC服务的核心模块在`srs_app_rtc_server.cpp`中初始化，主要负责自签名证书生成、UDP端口监听（如）和推拉流API接口注册。RTMP与WebRTC的不同在于，WebRTC通过P2P/ICE技术建立UDP连接，而RTMP则通过socket复用控制命令和数据流。

       SRS4.0通过HTTP(S)接口提供对外API，如/rtc/v1/publish/和/rtc/v1/play/，用于接收和发送音视频数据。当客户端发起推流或拉流请求时，SRS会创建相应的对象（如SrsRtcPublishStream和SrsRtcPlayStream），并处理SDP交换和ICE连接建立。推流和拉流过程涉及SDP报文协商，ICE用于客户端和服务端建立数据传输通道，确保安全性和稳定性。

       最后，总结SRS4.0 WebRTC的处理流程：首先，监听端口并提供API接口；其次，根据API请求创建相应的数据流对象；接着，通过SDP和ICE建立连接；最后，音视频数据在服务器和客户端之间按此流程传递：客户端→服务器→SRS对象→客户端。理解这些核心流程有助于深入研究SRS4.0的WebRTC功能和实现机制。