皮皮网

1.mpd是什么意思技术？
2.UE5 05 Media框架的探索与流视频播放应用
3.音视频探索(6)：浅析MediaCodec工作原理
4.Android Media3 （一）— 简单播放视频
5.PJSIP源码探究 pjmedia-videodev模块
6.ZLMediaKit 服务器源码解读---RTSP推流拉流

mpd是什么意思技术？

       MPD即Media Player Daemon，是一种开放源码的媒体播放器服务，具有跨平台、Modular化、远程控制的特点。它可以作为一个后台服务运行，人脉社区app源码而客户端可以通过连接到其TCP/IP端口来控制播放，使得其成为理想的系统级媒体播放器。MPD的核心工作流程是通过内置的音频处理器，支持各种格式的音频数据流解码及处理。基于网络协议的交互方式，使MPD具有很好的可扩展性和整合性，可以方便地和其他软件整合，如音乐标签工具、音频编辑软件等。

       MPD技术在音乐播放器中的应用

       MPD技术的特性和模块化的设计使其可以被广泛应用在各种音乐播放器系统中。与传统的媒体播放器不同，MPD作为一个媒体中心媒介，可以控制多个不同输出设备的音频播放，如耳机、音箱等。同时，利用MPD提供的多种流媒体协议接口，可以将音频媒体数据直接传输到音频流媒体设备中，实现音频媒体数据的无线传输和共享。

       MPD技术在音乐编辑和制作中的应用

       MPD技术不仅可以在音乐播放器和媒体中心中应用，同时也可以用来作为音乐编辑和制作中的工具。MPD提供了完整的数据库、标签读取解析及跨库搜索等功能，而且因为其模块化的设计，可以方便地和其他音频编辑软件进行集成，使其更加灵活和易用。在音频制作和混音方面，MPD可以通过支持的高品质数字信号处理算法，实现高质量音频编码和解码，提高音频处理的精度和准确性。

UE5 Media框架的探索与流视频播放应用

       在探讨如何在虚幻引擎（Unreal Engine，简称UE）中集成视频流播放功能时，我们首先需要了解UE的基本播放流程和模块设计。通常，UE在蓝图中创建对应资产即可轻松搭建视频链接，skinsharp源码但若涉及如rtsp协议等国产摄像头的视频流接入需求，则需要借助UE的灵活性和插件支持进行额外模块的加入。本文旨在深入解析UE Media框架，通过理解其设计模式、C++知识以及具体实现，帮助开发者实现视频播放功能的拓展。

       在UE中，视频播放的通用流程主要在蓝图中完成，官方文档和各类个人博客提供了详尽的教程。模块（Module）作为UE的基本元素，封装和实现了特定功能，如Media模块，它在UE5.3版本中与其他版本有区别，但面向的是UE初学者。

       理解UE的基本知识对于实现视频播放功能至关重要。UE的多线程机制允许在游戏过程中高效处理视频播放任务，避免阻塞主线程。掌握FRunnable、FRunnableThread、FAsyncTask、FEvent等多线程相关类是必要的，这有助于开发者正确地在视频播放中应用多线程技术。

       UE的TickGroup机制则帮助开发者理解Tick流程，确保视频播放任务在恰当的时机执行。虽然整个Tick流程较为复杂，本文仅关注Media模块的Tick嵌入位置，提供一个概览，以便开发者理解其在引擎中的作用。

       设计模式在UE中得到广泛应用，如工厂模式（Factory）用于创建和管理对象，外观模式（Facade）提供简化接口，而代理模式（Proxy）则用于保护或控制对真实对象的访问。理解这些模式有助于开发者更高效地组织和扩展代码。

       在C++知识方面，`TSharedFromThis`是UE中智能指针的实现之一，用于方便地管理对象的生命周期和共享状态。通过了解`std::enable_shared_from_this`在STL中的应用，开发者能更好地在UE中使用这一特性。CRTP（The Curiously Recurring Template Pattern）的了解则能提供更深入的智能指针原理理解。

       UE的独特源码Media模块包含三个主要部分：Media、MediaAssets、MediaUtils，分别从底层接口、具体实现到资源管理角度提供视频播放功能。MediaPlayerFacade和MediaPlayer是关键组件，它们通过外观模式（Facade Pattern）提供接口，隐藏底层复杂性，同时允许开发者通过插件轻松扩展功能。

       UMediaPlayer与IMediaPlayer之间的区别在于高、低层播放器的职责划分，前者负责高阶逻辑处理，后者实现底层解码逻辑。MediaPlayer的实例化通常通过MediaPlayerFacade实现，通过不同的插件支持不同的解码器。

       UE视频播放流程涉及多个线程的协作，Media模块单独运行在自己的线程中，处理视频解码和采样，而其他功能（如输入、输出和渲染）则在主GameThread中执行。UE源码中使用特定术语如Track和Sink来管理视频播放的各个部分，每个部分在不同Tick阶段执行特定任务。

       本文旨在提供UE Media框架的全面解析，帮助开发者理解其工作原理和实现细节，以便在项目中灵活应用和扩展视频播放功能。通过本文，开发者不仅能够解决特定需求，如接入国产摄像头视频流，还能更深入地理解UE的模块化设计和多线程机制，为复杂项目提供坚实的基础。

音视频探索(6)：浅析MediaCodec工作原理

       MediaCodec类是Android平台用于访问低层多媒体编/解码器的接口，它是Android多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack等工具配合使用，可以处理多种常见的音视频格式，包括H.、H.、AAC、3gp等。MediaCodec的coordinatelayout源码工作原理是通过输入/输出缓存区同步或异步处理数据。客户端首先将要编解码的数据写入编解码器的输入缓存区，并提交给编解码器。编解码器处理后，数据转存到输出缓存区，同时收回客户端对输入缓存区的所有权。然后，客户端从编解码器的输出缓存区读取编码好的数据进行处理，读取完毕后编解码器收回客户端对输出缓存区的所有权。这一过程不断重复，直至编码器停止工作或异常退出。

       在整个MediaCodec的使用过程中，会经历配置、启动、数据处理、停止、释放等步骤，对应的状态包括停止(Stopped)、执行(Executing)以及释放(Released)，而Stopped状态又细分为未初始化(Uninitialized)、配置(Configured)、异常(Error)，Executing状态细分为读写数据(Flushed)、运行(Running)和流结束(End-of-Stream)。当MediaCodec被创建后，它会处于未初始化状态，待设置好配置信息并调用start()方法启动后，它会进入运行状态，并可以进行数据读写操作。若在运行过程中出现错误，MediaCodec会进入Stopped状态。此时，使用reset方法来重置编解码器是必要的，否则MediaCodec所持有的资源最终会被释放。如果MediaCodec正常完成使用，可以向编解码器发送EOS指令，同时调用stop和release方法来终止编解码器的使用。

       MediaCodec主要提供了createEncoderByType(String type)、createDecoderByType(String type)两个方法来创建编解码器，这两个方法需要传入一个MIME类型多媒体格式。常见的newsinglethread源码MIME类型多媒体格式有：image/jpeg、audio/amr、video/3gpp、video/h、video/avc等。此外，MediaCodec还提供了createByCodecName (String name)方法，可以使用组件的具体名称来创建编解码器，但这种方法的使用相对繁琐，且官方建议最好配合MediaCodecList使用，因为MediaCodecList记录了所有可用的编解码器。我们也可以使用MediaCodecList对传入的minmeType参数进行判断，以匹配出MediaCodec对该mineType类型的编解码器是否支持。例如，指定MIME类型为“video/avc”时，可以使用如下代码来创建H.编码器：

       java

       MediaCodecInfo.CodecCapabilities capabilities = MediaCodecList.getCodecCapabilities("video/avc");

       if (capabilities != null) {

        MediaCodec codec = MediaCodec.createByCodecName(capabilities.getName());

       }

       配置和启动编解码器使用MediaCodec的configure方法。这个方法首先提取MediaFormat存储的数据map，然后调用本地方法native_configure实现配置工作。在配置时，需要传入format、surface、crypto、flags参数。format是一个MediaFormat实例，它以“key-value”键值对的形式存储多媒体数据格式信息；surface用于指定解码器的数据源；crypto用于指定一个MediaCrypto对象，以便对媒体数据进行安全解密；flags指明配置的是编码器(CONFIGURE_FLAG_ENCODE)。对于H.编码器的配置，可以使用createVideoFormat("video/avc", , )方法创建“video/avc”类型的编码器的MediaFormat对象，并需要指定视频数据的宽高。如果处理音频数据，则可以调用MediaFormat的createAudioFormat(String mime, int sampleRate,int channelCount)方法。

       配置完毕后，通过调用MediaCodec的start()方法启动编码器，并调用本地方法ByteBuffer[] getBuffers(input)开辟一系列输入、输出缓存区。start()方法的源码如下：

       java

       native_start();

       ByteBuffer[] buffers = getBuffers(input);

       MediaCodec支持同步(synchronous)和异步(asynchronous)两种编解码模式。同步模式下，编解码器的数据输入和输出是同步的，只有当输出数据处理完毕时，编解码器才会接收下一次输入数据。而异步模式下，输入和输出数据是异步的，编解码器不会等待输出数据处理完毕就接收下一次输入数据。这里主要介绍同步编解码模式，因为它更常用。当编解码器启动后，它会拥有输入和输出缓存区，但是这些缓存区暂时无法使用，需要通过MediaCodec的dequeueInputBuffer/dequeueOutputBuffer方法获取输入输出缓存区的授权，并通过返回的ID来操作这些缓存区。下面是一个官方提供的示例代码：

       java

       for (;;) {

        ByteBuffer[] buffers = codec.dequeueInputBuffer();

        if (buffers != null) {

        // 处理输入缓存区

        }

        ByteBuffer[] outputBuffers = codec.dequeueOutputBuffer(new MediaCodec.BufferInfo(), );

        if (outputBuffers != null) {

        // 处理输出缓存区

        }

       }

       获取编解码器的输入缓存区并写入数据。首先调用MediaCodec的dequeueInputBuffer(long timeoutUs)方法从编码器的输入缓存区集合中获取一个输入缓存区，并返回该缓存区的下标index。接着调用MediaCodec的getInputBuffer(int index)，该方法返回缓存区的ByteBuffer，并将获得的ByteBuffer对象及其index存储到BufferMap对象中，以便在输入结束后释放缓存区并交还给编解码器。然后，在获得输入缓冲区后，将数据填入并使用queueInputBuffer将其提交到编解码器中处理，同时释放输入缓存区交还给编解码器。queueInputBuffer的源码如下：

       java

       native_queueInputBuffer(index, offset, size, presentationTimeUs, flags);

       获取编解码器的输出缓存区并读出数据。与获取输入缓存区类似，MediaCodec提供了dequeueOutputBuffer和getOutputBuffer方法来获取输出缓存区。但是，在调用dequeueOutputBuffer时，还需要传入一个MediaCodec.BufferInfo对象，它记录了编解码好的数据在输出缓存区中的偏移量和大小。当调用本地方法native_dequeueOutputBuffer返回INFO_OUTPUT_BUFFERS_CHANGED时，会调用cacheBuffers方法重新获取一组输出缓存区。这意味着在使用getOutputBuffers方法（API 后被弃用，使用getOutputBuffer(index)代替）来获取输出缓存区时，需要在调用dequeueOutputBuffer时判断返回值，如果返回值为MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED，则需要重新获取输出缓存区集合。此外，还需要判断dequeueOutputBuffer的其他两个返回值：MediaCodec.INFO_TRY_AGAIN_LATER、MediaCodec.INFO_OUTPUT_FORMAT_CHANGED，以处理获取缓存区超时或输出数据格式改变的情况。最后，当输出缓存区的数据被处理完毕后，通过调用MediaCodec的releaseOutputBuffer释放输出缓存区，交还给编解码器。releaseOutputBuffer方法接收两个参数：Index、render，其中Index为输出缓存区索引，render表示当配置编码器时指定了surface，那么应该置为true，输出缓存区的数据将被传递到surface中。

Android Media3 （一）— 简单播放视频

       在Android应用开发中，有时需要集成视频播放功能，JetPack Media3作为官方推荐的视频播放解决方案，以ExoPlayer为核心，极大地简化了开发者的工作。本文将引导你快速入门Media3，实现视频播放。

       首先，要在项目中引入Media3库。在app模块的build.gradle文件中，添加以下依赖代码：

       // ...其他依赖

       implementation 'com.google.android.exoplayer:exoplayer:2..1' // 请根据最新版本替换

       implementation 'com.google.android.exoplayer:exoplayer-ui:2..1' // 用于PlayerView

       在布局文件中，引入PlayerView，它是视频播放的核心容器：

       <com.google.android.exoplayer2.ui.PlayerView

       android:id="@+id/player_view"

       android:layout_width="match_parent"

       android:layout_height="match_parent"

       android:layout_margin="dp"

       android:background="@android:color/black"

       />

       你可以根据需要调整PlayerView的一些参数，比如封面、控制器样式等。具体配置可以参考官方文档。

       接下来，创建一个ExoPlayer实例，并将其关联到PlayerView上，加载你想要播放的视频资源：

       Player player = ExoPlayerFactory.newSimpleInstance(new DefaultRenderersFactory(context));

       PlayerView playerView = findViewById(R.id.player_view);

       playerView.setPlayer(player);

       // 设置播放资源，例如通过MediaSource

       MediaSource mediaSource = ...;

       player.prepare(mediaSource);

       player.setPlayWhenReady(true);

       运行程序，你将看到视频播放效果。为了更直观的学习，示例代码已在名为ExampleDemo的项目中提供。你可以从GitHub或Gitee上获取源码：

       - 示例Demo GitHub: [链接]

       - 示例Demo Gitee: [链接]

       通过以上步骤，你已经掌握了使用Media3库进行视频播放的基础。后续可以探索更多高级功能，如视频缓存、播放控制等。祝你在视频播放开发中顺利！

PJSIP源码探究 pjmedia-videodev模块

       PJSIP源码探索：pjmedia-videodev模块详解

       在上一章节中，我们已经了解了PJSIP在Android平台的编译和使用基础。接下来，我们将深入探究pjmedia-videodev模块，这一核心组件负责实现PJSIP的视频捕获功能。掌握这部分内容，你将能够为PJSIP添加自定义视频输入设备。

       源码解析：视频捕获入口

       在pjsua2的Endpoint.java中，主要通过Endpoint对象的libCreate、libInit、libStart和libDestroy方法来调用底层的c++代码。其中，pjsua_init函数在pjsua_core.c的行中起关键作用，通过media_cfg参数，我们可以看出它与媒体相关。在pjsua_media_subsys_init中，初始化了音频和视频子系统，其中pjmedia_vid_subsys_init在pjsua_vid.c的行，负责初始化视频捕获设备。

       在pjmedia-videodev模块中，寻找视频捕获的源头，pjmedia_vid_dev_subsys_init在pjmedia-videodev/videodev.c中负责视频设备的注册。在Android编译环境下，pjmedia_and_factory被注册，负责打开摄像头并获取画面。

       源码分析：pjmedia-vid-dev-factory

       Android摄像头捕获器工厂的实现位于pjmedia-videodev/android_dev.c，其中工厂实例的创建、设备信息的获取与管理，以及与Java类的交互都十分重要。工厂中的and_factory和factory_op结构体定义了工厂操作的接口，包括设备初始化、信息查询和流创建等。

       视频设备流的操作在stream_op中定义，包括获取参数、设置视频功能、启动和停止相机，以及释放资源等。这些操作允许我们动态调整视频流，实现自定义画面捕获。

       总结：pjmedia-videodev模块功能概览

       pjmedia-videodev的核心是pjmedia_vid_dev_factory，它通过实现一系列操作函数，如创建VideoStream和管理设备流，来捕获和处理视频数据。通过自定义VideoStream和其操作，开发者能够添加时间水印、滤镜效果，甚至捕获屏幕内容，为视频通话增添更多可能性。

       至此，关于pjmedia-videodev模块的源码探究已告一段落，希望你对视频捕获的实现有了深入理解，期待你在PJSIP应用中发挥创意。

ZLMediaKit 服务器源码解读---RTSP推流拉流

       RTSP推流与拉流在ZLMediaKit服务器源码中有着清晰的解析过程和处理逻辑。数据解析通过回调到达RtspSession类的onRecv函数，进而进行分包处理，头部数据与内容分离。根据头部信息判断数据包类型，rtp包与rtsp包分别由onRtpPacket和onWholeRtspPacket函数处理。

       RTSP处理过程中，解析出的交互命令被分发至不同的处理函数。对于rtp包处理，数据封装成rtp包后，执行onBeforeRtpSorted函数进行排序，排序后的数据放入缓存map，最终回调到RtspSession的onRtpSorted函数。这里，回调数据进入RtspMediaSourceImp成员变量，该变量指向RtspDemuxer解复用器，用于H等视频格式的解复用。

       在H解复用器中，rtp包经过一系列处理后，由HRtpDecoder类的decodeRtp函数转化为H帧数据，最终通过RtpCodec::inputFrame函数分发至代理类。代理类在处理H帧数据时，分包并添加必要参数（如pps、sps信息），然后通过map对象将数据传递给多个接收者。

       处理完H帧后，数据将流转至编码阶段。在RtspMediaSourceImp中，H帧数据被传递至MultiMediaSourceMuxer编码类。在编码过程中，数据通过RtspMuxer的inputFrame接口进入编码器HRtpEncoder，最后被打包成rtp包，准备分发。

       总结而言，RTSP推流过程主要包含数据解析、视频解复用与编码三个关键步骤。在拉流阶段，通过鉴权成功后获取推流媒体源，利用play reader从缓存中取出rtp包并发送给客户端。

如何使用MediaCoder无损转换格式

       MediaCoder是一个通用音频/视频批量转码工具，整合了众多优秀音频视频编解码器和工具。该软件曾是基于GPL协议的自由软件，后由黄轶纯封闭源代码，改以MediaCoder EULA协议发布，并移出Sourceforge。本文将介绍MediaCoder如何无损转换格式的步骤。

       步骤一：将需要转换格式的视频文件拖入MediaCoder界面。

       步骤二：调整设置。在视频选项卡中，勾选红色箭头所指的复选框。在音频和容器选项卡中，设置输出文件格式和编码器，例如选择H.格式及相应的编码器。在容器选项卡中设定目标输出格式。

       步骤三：点击开始按钮，执行转换任务。转换过程简单快速，本质上是更换容器，理论上几乎立即完成。

       在转换封装格式时，通过视频导出选项可以设置码率，追求品质时可选择最高码率。选择需要的封装格式，如H.，设置编码器和容器，最后点击开始按钮启动任务队列。

       下载链接：pan.baidu.com/s/1ZIl3WQ... 提取码：