皮皮网

1.2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）
2.Android 视频硬件编码
3.SRS流媒体服务器——WebRTC推拉流演示
4.一文搞定 WebRTC｜Android 客户端编译
5.ijkplayer源码分析 视频解码流程
6.WebRTC 源码分析——Android 视频硬件编码

2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

       音视频工作领域繁复多样，源码自学时易陷入迷茫。分析本文整理出九个前景不错的源码方向：直播、传输、分析算法、源码视频播放器、分析延迟光圈效应源码流媒体后端、源码短视频、分析音频播放、源码视频编辑、分析图像处理。源码以下为详细学习路线：

       音视频基础

音频基础知识

视频基础知识

解复用基础知识

FFmpeg开发环境搭建

音视频开发常用工具

       FFmpeg实战教程

FFmpeg命令

SDL跨平台

FFmpeg基石精讲

FFmpeg过滤器

FFmpeg音视频解复用+解码

ffplay播放器

FFmpeg音视频编码+复用合成视频

ffmpeg多媒体

FFmpeg+ QT播放器

       流媒体客户端

RTMP推拉流项目实战

RTSP流媒体实战

HLS拉流分析

       流媒体服务器

SRS源码剖析协程

ZLMediaKit源码剖析

       WebRTC项目实战

WebRTC中级开发实践指南

WebRTC高级开发-SRS 4.0/5.0源码分析

WebRTC高级开发-MESH模型多人通话

WebRTC高级开发-Janus SFU模型多人通话

       Android NDK

Android NDK开发基础

Android FFmpeg编译和应用

Android RTMP推拉流

Android Ijkplayer源码分析

       iOS音视频开发

iOS FFmpeg 6.0编译和应用

iOS FFmpeg RTMP推拉流

VideoToolbox硬件编解码

iOS jkplayer编译和应用

iOS ijkplayer编译和应用

       音视频项目实战

       相关开源网站与地址

       本文涵盖音视频全栈开发技术，分析适合各类技术人员。源码

Android 视频硬件编码

       本文将深入探讨 Android 平台上 WebRTC 如何利用 MediaCodec 对视频数据进行编码，分析并分析 webrtc native 与 java 之间的源码流程交互。

       首先，我们将回顾 Android 的 MediaCodec 概念及其基本使用，然后深入源码进行详细分析。

       MediaCodec 是 Android 提供的一个处理音频和视频数据的底层 API，支持编码和解码过程。自 Android 4.1（API ）起引入，通常与 MediaExtractor、MediaSync、MediaMuxer、迪士尼源码搭建MediaCrypto、MediaDrm、Image、Surface 等一起使用。

       在 WebRTC 中，VP8 编码器是优先使用的，因此要分析 Android 上硬件编码的流程，需要先支持 H 硬件编码。

       MediaCodec 是 Android 中处理音视频编解码的关键组件。了解其基本概念和用法有助于构建高效、稳定的媒体应用程序。

       在 WebRTC 中，如何使用硬件编码器？通过 DefaultVideoEncoderFactory 默认编码器，内部实现是使用硬件编码器。在 DefaultVideoEncoderFactory 中看到 createEncoder 函数，内部是实例化 HardwareVideoEncoder 的地方。

       WebRTC 如何将数据送入编码器？WebRTC 使用 VideoEncoder 接口进行视频编码，该接口定义了一个用于编码视频帧的方法：encode(VideoFrame frame, EncodeInfo info)。WebRTC 提供了一个名为 HardwareVideoEncoder 的类，该类实现了 VideoEncoder 接口，并使用 MediaCodec 对视频帧进行编码。

       在 HardwareVideoEncoder 类中，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的开发版源码 Surface 的纹理。这是通过使用 EglBase 类创建一个 EGL 环境，并使用该环境将 VideoFrame 的纹理绘制到 Surface 上来实现的。

       WebRTC 如何获取编码后的数据？在 HardwareVideoEncoder 类中，使用 MediaCodec 同步模式获取编码后的数据。当数据可用时，会调用 callback.onEncodedFrame(encodedImage, new CodecSpecificInfo()); 方法，然后将编码后的帧传递给 WebRTC 引擎。

       WebRTC 如何做码流控制？WebRTC 的码流控制包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来通知更新比特率。

       本文深入剖析了 WebRTC 在 Android 平台上如何使用 MediaCodec 对视频数据进行编码，以及整个编码过程中 webrtc native 与 java 的流程交互。希望本文能帮助读者更好地理解 WebRTC Android 编码技术。

SRS流媒体服务器——WebRTC推拉流演示

       SRS官方WebRTC文档： github.com/ossrs/srs/wi...

       SRS安装部署相关内容：

       SRS部分源码分析相关内容：

       1. WebRTC推拉流配置

       学习地址： FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发 文章福利：免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 加群领取哦~

       3.其中rtc_server是全局的RTC服务器的配置，部分关键配置包括：

       4.然后是每个vhost中的RTC配置，部分关键配置包括：

       5.注意：对应端口，比如,端口必须开启，否则不能进行WebRTC测试。android 键盘 源码

       2. WebRTC拉流演示

       3.使用ffmpeg命令进行推流（注意：ip需要换成自己的）：

       4.推送流成功之后，使用srs自带的rtc_player播放器进行播放，直接请求srs服务的端口即可。

       3. WebRTC推流演示

       3.如果是window系统，可以Chrome的启动参数。方法：

       4.mac系统没找到对应方法，可以配置一台Nginx，申请个免费的HTTPS证书，并配置转发。

       5.然后就可以使用WebRTC或者RTMP进行播放。

       版权声明：本文为CSDN博主「Lumos`」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

       原文链接： SRS流媒体服务器--WebRTC推拉流演示_Lumos`的博客-CSDN博客_webrtc推流和拉流

一文搞定 WebRTC｜Android 客户端编译

       前言：本文介绍如何在Android客户端编译WebRTC，包括编译前的准备工作、编译步骤、以及解决常见问题的方法。编译过程涉及环境配置、下载源码、同步目标分支、安装编译依赖、设置编译参数、生成ninja文件，mfc 源码 解析以及启动编译流程。本文以m分支为例，介绍其他分支可能遇到的差异。

       准备工作：安装depot_tools工具，这是编译WebRTC源码的关键。设置环境变量以确保工具可被访问。验证环境配置是否正确。

       源码下载与同步：获取WebRTC源码，考虑到源码大小（约G），建议使用稳定代理。同步至目标分支以获取最新版本。

       源码编译：安装编译所需的依赖（约分钟）。设置gn生成器，生成ninja文件。进入src目录，指定编译参数，如target_os为android、target_cpu为arm、is_debug为false，开始编译。编译过程中将执行多个构建任务，耗时约2小时。

       非全量编译：编译过程中，可以选择非全量编译以提高效率。

       验证：生成的aar文件可用性验证。可导入到WebRTC的官方demo中，测试其功能。

       配置Android Studio工程：使用Android Studio打开包含aar文件的工程，编辑app/build.gradle文件，替换原有依赖为编译生成的libwebrtc.aar。

       Q&A：解决编译过程中遇到的常见问题，如Python版本不兼容、编译错误等。需要确保使用m分支所需的Python2版本进行编译。对于编译错误“ERROR: The installation of the Chrome OS default fonts failed.”，可能需要重新安装依赖。针对M/分支编译aar时遇到的错误，可参考官方文档或论坛讨论。

       WebRTC官网、Android|WebRTC文档提供详细的编译指南和资源，可作为参考。构建全国最权威的音视频技术交流分享论坛，提供更多学习资料和社区支持，帮助开发者解决实际问题。

ijkplayer源码分析 视频解码流程

       深入ijkplayer源码，本文聚焦视频解码流程。在video_thread中，我们首先审视IJKFF_Pipenode结构体，定义于ff_ffpipenode.h和ff_ffpipenode.c。pipenode封装软解与硬解功能，初始化流程在stream_component_open中启动，调用pipeline.ffpipeline_open_video_decoder实现。

       在视频解码流程中，视频帧处理在video_thread线程下进行。从packet_queue读取视频packet，然后通过软/硬解码，最终将解码结果放入frame_queue。软解通过ffpipenode_ffplay_vdec.c实现，硬解则在ffpipenode_android_mediacodec_vdec.c中执行。不论软解还是硬解，解码后的结果均被引导至ff_ffplay.c#queue_picture进行队列化，准备渲染。

       对于LinuxC++音视频开发者，学习资源尤为关键。免费音视频开发资料、视频、学习路线图以及面试题，涵盖C/C++、Linux、FFmpeg、WebRTC、RTMP、NDK和Android音视频流媒体高级开发，免费提供给有需求者。学习交流君羊群，点击加入即可获取资料。

       最后，渲染流程在stream_open方法中启动，创建video_refresh_thread线程。此线程从frame_queue中读取视频帧，进行音视频同步后，完成渲染。此环节聚焦渲染流程，音视频同步细节暂不展开。

WebRTC 源码分析——Android 视频硬件编码

       本文深入剖析了 WebRTC 在 Android 平台上的视频硬件编码机制。首先，回顾了 MediaCodec 的概念和基础使用，这是Android中用于处理音频和视频数据的关键组件。MediaCodec 支持编码（将原始数据转换为压缩格式）和解码（将压缩数据转换回原始格式），通常与MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface等组件一起使用。

       接下来，文章探讨了WebRTC 如何利用硬件编码器。通过 DefaultVideoEncoderFactory 和 HardwareVideoEncoderFactory 的交互，WebRTC 实现了 h 编码器的初始化和配置。在代码实现中，我们关注了 MediaCodec 的输入和输出缓冲区、编码器工作模式以及 MediaCodec 与 Surface 的关系，这些是理解整个编码流程的关键点。

       在编码器初始化的部分，通过 DefaultVideoEncoderFactory 的 createEncoder 函数，实例化了 HardwareVideoEncoder。调用栈显示，这一过程主要在 native 端完成，通过 jni 调用 Java 端代码来获取当前设备支持的编码器信息。

       编码数据送入编码器的过程涉及到 VideoEncoder 接口，WebRTC 使用 HardwareVideoEncoder 实现了这一接口，利用 MediaCodec 进行编码。通过 EglBase 和 OpenGL ES 的集成，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的 Surface 的纹理。这一过程确保了编码器接收到了正确的视频数据格式。

       获取编码后的数据时，WebRTC 使用 MediaCodec 的同步模式进行获取。当数据可用时，通过 callback.onEncodedFrame(encodedImage, new CodecSpecificInfo()) 方法告知引擎，引擎负责进一步处理编码后的帧，如封装 RTP 包和发送到对端。

       码流控制方面，WebRTC 包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来更新比特率。在编码过程中，通过特定的代码逻辑来判断并调整当前的码率与所需码率是否匹配，以适应网络条件的变化。

       本文以几个疑问的方式从源码角度详细解析了整个编码流程，包括从 MediaCodec 的创建和配置、视频数据的编码到编码后的数据获取和码流控制等关键步骤。通过深入分析，希望读者能够更好地理解 WebRTC 在 Android 平台上的编码技术。

       为了进一步加深对 Android 音视频核心知识点的理解，推荐访问以下链接：/Ei3VPD。

android和Linux的区别？

       æœ‰ä»¥ä¸‹ä¸‰ç‚¹åŒºåˆ«ï¼š

       1、Android没有本地窗口系统，而Linux是有X窗口系统。

       2、Android没有glibc支持，而Linux是有glibc支持的。

       3、Android是有自己专有的驱动程序。

       è™½ç„¶Android基于Linux内核，但是它与Linux之间还是有很大的差别。

扩展资料

       Android专有的驱动程序

       1、Android Binder 基于OpenBinder框架的一个驱动，用于提供 Android平台的进程间通信(InterProcess Communication，IPC)功能。源代码位于drivers/staging/android/binder.c。

       2、Android电源管理(PM) 一个基于标准Linux电源管理系统的轻量级Android电源管理驱动，针对嵌入式设备做了很多优化。源代码位于：

       kernel/power/earlysuspend.c

       kernel/power/consoleearlysuspend.c

       kernel/power/fbearlysuspend.c

       kernel/power/wakelock.c

       kernel/power/userwakelock.c

       3、低内存管理器(Low Memory Killer) 比Linux的标准的OOM(Out Of Memory)机制更加灵活，它可以根据需要杀死进程以释放需要的内存。源代码位于 drivers/staging/ android/lowmemorykiller.c。

       4、匿名共享内存(Ashmem) 为进程间提供大块共享内存，同时为内核提供回收和管理这个内存的机制。源代码位于mm/ashmem.c。

       5、Android PMEM(Physical) PMEM用于向用户空间提供连续的物理内存区域，DSP和某些设备只能工作在连续的物理内存上。源代码位于drivers/misc/pmem.c。

       6、Android Logger 一个轻量级的日志设备，用于抓取Android系统的各种日志。源代码位于drivers/staging/android/logger.c。

       7、Android Alarm 提供了一个定时器，用于把设备从睡眠状态唤醒，同时它还提供了一个即使在设备睡眠时也会运行的时钟基准。源代码位于drivers/rtc/alarm.c。

       8、USB Gadget驱动 一个基于标准 Linux USB gadget驱动框架的设备驱动，Android的USB驱动是基于gaeget框架的。源代码位于drivers/usb/gadget/。

       9、Android Ram Console 为了提供调试功能，Android允许将调试日志信息写入一个被称为RAM Console的设备里，它是一个基于RAM的Buffer。源代码位于drivers/staging/android / ram_console.c。

       ã€Android timed device 提供了对设备进行定时控制的功能，目前支持vibrator和LED设备。源代码位于drivers/staging/android /timed_output.c(timed_gpio.c)。

参考资料：百度百科——Android

       ç™¾åº¦ç™¾ç§‘——linux