1.FFmpeg源码分析: AVStream码流
2.FFmpeg 简单介绍及使用
3.理解ffmpeg
4.FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx
5.FFMPEG详解(完整版）
6.编译WebAssembly版本的网站FFmpeg（ffmpeg.wasm）：（1）准备
FFmpeg源码分析: AVStream码流
在AVCodecContext结构体中，AVStream数组存储着所有视频、源码源码音频和字幕流的下载信息。每个码流包含时间基、网站时长、源码源码索引数组、下载腾讯编程源码编解码器参数、网站dts和元数据。源码源码索引数组用于保存帧数据包的下载offset、size、网站timestamp和flag，源码源码方便进行seek定位。下载
让我们通过ffprobe查看mp4文件的网站码流信息。该文件包含5个码流，源码源码是下载双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。
调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。
我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。
AVStream内部的nodejs编译js源码nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。
时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。
FFmpeg 简单介绍及使用
FFmpeg是一套强大的音频、视频处理工具，提供录制、转换和流化功能，采用LGPL或GPL许可证。它包含的libavcodec库，具有从头开发的高效编解码能力，适用于各种操作系统，包括Linux、Windows和Mac OS X。该项目由Fabrice Bellard发起，主要由MPlayer项目团队维护。
FFmpeg官网和Github项目地址分别为：ffmpeg.org/ 和 FFmpeg/FFmpeg。
FFmpeg主要由三个部分组成：工具软件、SDK和源代码。工具软件包括ffmpeg.exe（转码器）、ffplay.exe（播放器）、ffserver.exe（流媒体服务器）和ffprobe.exe（分析器）。SDK则包含libavcodec（编码解码）、libavutil（常用工具）、libavformat（封装工具）、libavfilter（滤镜）、libavdevice（设备相关）和libswscale、libswresample（图像处理和音频转换）等库。源代码是所有功能实现的基础。
安装FFmpeg（Windows版）：下载静态版本，解压到C:\ffmpeg，添加环境变量（win）：右键我的电脑 → 属性 → 高级系统设置 → 环境变量，添加路径 C:\ffmpeg\bin。在命令行输入ffmpeg -version验证安装。
命令行使用：ffmpeg.exe用于转码，如将input.avi转为output.ts，设置视频码率为kbps；ffplay.exe用于播放文件，nginx upstream源码分析如播放test.avi；ffprobe.exe用于查看文件格式。
详细使用方法请参考相关文档和教程，如CSDN博客等。
技术交流群：，提供学习资源和讨论交流。
理解ffmpeg
ffmpeg是一个全能的音频和视频处理软件，支持录制、转换、流媒体等功能。
名为“FFmpeg”的软件，其中“FF”代表快速播放，对应于“Fast Forward”。该软件的全名实际上是“ff + mpeg”，读音为“艾辅艾辅败克”。其官方网站是 ffmpeg.org，提供中文文档。
在 CentOS 系统中，可以通过命令行使用 yum 命令进行 ffmpeg 安装。安装后，您可以在 /usr/lib 路径下找到ffmpeg库。
ffmpeg安装完成后，您会得到三个工具，还有提供给开发者编码开发的系列库。
ffmpeg源码是开源的，您可以直接访问源码。
FFmpeg核心是用C语言编写，它利用底层操作系统和硬件功能处理音频和视频，包括解码、编码、封装、解封装等，这正是选择C语言的原因。
FFmpeg的Libavutil库包含通用的实用工具和基本功能，如时间戳处理、时间间隔计算、字节流处理、颜色空间转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libavcodec库是处理音频和视频编解码的库，提供丰富的编码器和解码器功能，包括设置编码参数、处理编码器选项、帧格式转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libavformat库用于音视频的封装和解封装，支持多种音视频容器格式，如AVI、MP4、MKV等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libavdevice库允许与音视频设备交互，HTML源码单词视频进行音频和视频采集与播放。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libavfilter库提供音视频滤镜处理功能，包括裁剪、缩放、旋转、色彩调整等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libswscale库用于图像缩放和颜色空间转换，对视频帧进行大小调整、像素格式转换和色彩空间转换等操作。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
libswresample库提供音频重采样和格式转换功能，对音频数据进行采样率、通道布局和样本格式的转换。更多详细信息可参阅 ffmpeg.org/doxygen/trun...
要读取mp4文件，您需要引用ffmpeg库，并按照文档说明执行代码。以下是一段示例代码，用于读取互联网上的mp4文件。
执行此代码后，输出结果将显示关键函数调用的逻辑。
FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx
在FFmpeg开发中，为了支持WebM格式的视频，特别是其音频编码的Opus和视频编码的VP8/VP9，需要在Linux环境中集成libopus和libvpx库。以下是具体的操作步骤：
1. 安装libopus：首先，从ftp.osuosl.org下载libopus源码，如libopus-1.4。解压后，运行`./configure`进行配置，接着执行`make`和`make install`编译并安装。
2. 安装libvpx：访问github.com/webmproject获取libvpx-1..1源码。解压后，使用`./configure --enable-pic --disable-examples --disable-unit-tests`配置，然后编译并安装，即`make`和`make install`。
3. 重新编译FFmpeg：由于FFmpeg默认不支持opus和vpx，需要在FFmpeg源码目录下，通过`./configure`命令添加`--enable-libopus --enable-libvpx`选项。接着执行`make clean`清理，`make -j4`编译，最后使用`make install`安装并检查FFmpeg版本以确认成功启用。
按照以上步骤，你就能在Linux环境中成功集成libopus和libvpx到FFmpeg，从而支持WebM格式的视频编码。《FFmpeg开发实战：从零基础到短视频上线》一书中的详细说明提供了完整的指导。
FFMPEG详解(完整版）
FFMPEG详解
FFMPEG是自由软件中最完备的多媒体支持库，几乎涵盖了所有常见数据封装格式、多媒体传输协议以及音视频编解码器。对于多媒体技术开发工程师来说，rust公链源码深入研究FFMPEG是必不可少的。它的重要性如同kernel之于嵌入式系统工程师。FFMPEG的大部分代码遵循LGPL许可证，少部分遵循GPL许可证，因此其被广泛应用于各种第三方播放器和商业软件中，但需要注意在商业应用中可能涉及专利风险。
FFMPEG功能分为多个模块，如核心工具、媒体格式、编解码、设备和后处理模块，分别提供公用功能函数、实现多媒体文件读写、音视频编解码、设备操作以及音视频后处理。
FFMPEG提供命令行工具ffmpeg，其使用方法包含三部分：全局参数、输入文件参数、输出文件参数，每组输入参数以‘-i’结束，每组输出参数以文件名结束。
在使用FFMPEG时，需要熟悉基本选项、流标识、音频选项、视频选项等，同时，FFMPEG支持多种滤镜和高级选项，实现特定用例。
编译FFMPEG时，通过configure脚本实现定制和裁剪，以适应不同系统和需求。configure脚本生成的config.mak和config.h文件在Makefile和源代码层次上控制编译过程。
深入FFMPEG示例程序包括解码功能，实现复杂多媒体播放器的基础解复用、解码、数据分析过程。用户接口涉及数据结构、编解码器、媒体流和容器等概念，通过FFMPEG提供的AVFormatContext、AVStream、AVCodecContext等结构进行抽象。
时间信息在FFMPEG中用于实现多媒体同步，包括流内和流间同步。FFMPEG通过AVPacket结构为每个数据包打上时间标签，支持上层应用的同步机制。时间信息的获取和操作对于多媒体应用至关重要。
FFMPEG的API分为读系列、编解码系列和写系列，实现媒体数据的获取、编码、解码和输出。关键函数包括avformat_open_input、avformat_find_stream_info、av_read_frame等，用于文件输入、流信息查找和数据读取。
FFMPEG支持过滤链，通过AVFilter、AVFilterPad和AVFilterLink实现视频帧和音频采样数据的后续处理，如图像缩放、增强和声音重采样。
综上所述，FFMPEG是多媒体开发工程师不可或缺的工具，其功能强大且适用范围广泛，深入理解FFMPEG对于开发高性能多媒体应用至关重要。
编译WebAssembly版本的FFmpeg（ffmpeg.wasm）：（1）准备
在这一部分，你将深入了解如何准备编译WebAssembly版本的FFmpeg（ffmpeg.wasm）。本系列的背景
该系列文章旨在帮助读者在现实世界的C/C++库中使用Emscripten，特别是针对FFmpeg。为什么是FFmpeg？
FFmpeg是一个功能强大的免费开源项目，用于处理各种多媒体文件和流。它提供了广泛的视频和音频处理功能，市面上很少有其他JavaScript库能与之媲美。 尽管现有的库在大多数情况下都能使用，但它们存在一些问题。因此，我决定从头开始构建一个全新的库，并编写一系列教程，旨在让读者了解如何在C/C++库中使用Emscripten。如何用Docker构建原生FFmpeg
首先，从FFmpeg的仓库中克隆源代码，并选择稳定的版本（例如n4.3.1）进行编译。接着，根据构建系统进行构建和安装。 两种构建方法可选：一是原生方式，需要安装特定软件包；二是使用Docker，提供稳定的静态构建环境。强烈建议使用Docker以节省安装和删除软件包的时间。构建与安装指南
构建和安装说明可在版本库根目录下的INSTALL.md中找到。为了支持更多操作系统，使用Github Actions测试在Linux和MacOS上的兼容性。Linux用户可使用Docker方式构建，MacOS用户则使用本地方式。创建构建脚本
创建build.sh和build-with-docker.sh文件，分别用于本地和Docker方式构建。确保运行命令后，编译过程可能需要~分钟，并可能显示大量警告，这属于正常现象。运行FFmpeg
一旦编译完成，可以运行ffmpeg命令。查看输出结果，确认编译成功。访问库和代码
获取库的工作细节，请访问Github仓库：github.com/ffmpegwasm/F... 下载构建代码：github.com/ffmpegwasm/F...准备工作完成
至此，准备工作已完成。接下来，我们将继续深入编译WebAssembly版本的FFmpeg（ffmpeg.wasm）：（2）用Emscripten编译。msys2编译FFmpeg全网最详细步骤
本文提供详细步骤使用msys2编译FFmpeg源码，无需安装mingw。msys2在Windows上模拟Linux环境，允许使用大多数shell命令，类似于虚拟机但更轻量级。首先，从msys2.github.io下载并安装msys2到D盘，避开系统盘C盘。
在安装过程中，若进度卡住，可取消安装后重新尝试。安装完毕后，进入安装目录启动msys2_shell.cmd，并调整字符集以避免中文乱码。确保设置生效后重启msys2_shell.cmd。
接着，更换msys2的国内源，可参考相关指南。免费音视频学习资源推荐，包括FFmpeg、WebRTC、RTMP等技术，点击下方链接免费报名，先保存学习路径。
使用msys2安装软件，如yasm、make、diffutils、pkg-config。若安装缓慢，多次尝试直至完成。通过命令查看gcc安装状态。
下载最新FFmpeg源码（FFmpeg4.2.2），创建名为“SourceCode”的文件夹，解压源码并存放其中。
通过命令行进入msys2目录，配置FFmpeg编译参数，例如指定安装路径。生成的Makefile文件将用于编译过程。此步骤可使用批处理文件执行以提高效率。
编译完成后，ffmpeg库和可执行文件位于msys/usr/local/ffmpeg/bin目录。将msys\mingw\bin下的dll库复制到msys\usr\local\ffmpeg\bin，以确保依赖性。
需x库时，先编译x库，再编译FFmpeg。遵循本指南的详细步骤，您将成功在Windows上使用msys2编译FFmpeg源码。
FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）
在编撰FFmpeg播放器之前，深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。 FFmpeg是一个强大的库，它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时，播放过程大致包括以下几个关键步骤： 在构建播放器时，需要关注的首要环节是解码过程，本文将对解码流程、涉及的API和结构体进行详细阐述。 FFmpeg解码流程涉及以下几个关键步骤，包括使用av_register_all()初始化编码器，通过avformat_alloc_context()打开媒体文件并获取解封装上下文，使用avformat_find_stream_info()探测流信息，调用avcodec_find_decoder()查找解码器，然后用avcodec_open2()初始化解码器上下文，调用av_read_frame()读取视频压缩数据，通过avcodec_decode_video2()解码视频帧，最后使用avformat_close_input()关闭解封装上下文。 涉及的FFmpeg API包括：av_register_all()：初始化编码器
avformat_alloc_context()：初始化解封装上下文
avformat_find_stream_info()：探测流信息
avcodec_find_decoder()：查找解码器
avcodec_open2()：初始化解码器上下文
av_read_frame()：读取视频压缩数据
avcodec_decode_video2()：解码视频帧
avformat_close_input()：关闭解封装上下文
在FFmpeg中，关键结构体如下：AVFormatContext：解封装上下文，存储封装格式中包含的信息。
AVStream：存储音频/视频流信息的结构体。
AVCodecContext：描述编解码器上下文的结构体，包含了编解码器所需参数信息。
AVCodec：存储编码器信息的结构体。
AVCodecParameters：分离编码器参数的结构体，与AVCodecContext结构体协同工作。
AVPacket：存储压缩编码数据相关信息的结构体。
AVFrame：用于存储原始数据的结构体，如视频数据的YUV、RGB格式，音频数据的PCM格式，解码时存储相关数据，编码时也存储相关数据。
深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源，为深入学习提供了参考。FFmpeg源码分析：视频滤镜介绍(上)
FFmpeg在libavfilter模块提供了丰富的音视频滤镜功能。本文主要介绍FFmpeg的视频滤镜，包括黑色检测、视频叠加、色彩均衡、去除水印、抗抖动、矩形标注、九宫格等。
黑色检测滤镜用于检测视频中的纯黑色间隔时间，输出日志和元数据。若检测到至少具有指定最小持续时间的黑色片段，则输出开始、结束时间戳与持续时间。该滤镜通过参数选项rs、gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。
视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。
色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。
去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。
矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。
绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。
调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。
将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。