1.WebRTC 源码分析——Android 视频硬件编码
2.MediaCodec源码浅析
3.React Native UI界面还原，视频视频组件布局与动画效果
4.Android-Native开发系列之利用AAudio播放音频
5.Android 视频硬件编码
6.Expo 搭建 React-native 项目代码目录分析

WebRTC 源码分析——Android 视频硬件编码

       本文深入剖析了 WebRTC 在 Android 平台上的源码源码视频硬件编码机制。首先，视频视频回顾了 MediaCodec 的源码源码概念和基础使用，这是视频视频Android中用于处理音频和视频数据的关键组件。MediaCodec 支持编码（将原始数据转换为压缩格式）和解码（将压缩数据转换回原始格式），源码源码eclipse nc源码通常与MediaExtractor、视频视频MediaSync、源码源码MediaMuxer、视频视频MediaCrypto、源码源码MediaDrm、视频视频Image、源码源码Surface等组件一起使用。视频视频

       接下来，源码源码文章探讨了WebRTC 如何利用硬件编码器。视频视频通过 DefaultVideoEncoderFactory 和 HardwareVideoEncoderFactory 的交互，WebRTC 实现了 h 编码器的初始化和配置。在代码实现中，我们关注了 MediaCodec 的输入和输出缓冲区、编码器工作模式以及 MediaCodec 与 Surface 的关系，这些是理解整个编码流程的关键点。

       在编码器初始化的部分，通过 DefaultVideoEncoderFactory 的 createEncoder 函数，实例化了 HardwareVideoEncoder。调用栈显示，这一过程主要在 native 端完成，通过 jni 调用 Java 端代码来获取当前设备支持的编码器信息。

       编码数据送入编码器的过程涉及到 VideoEncoder 接口，WebRTC 使用 HardwareVideoEncoder 实现了这一接口，利用 MediaCodec 进行编码。通过 EglBase 和 OpenGL ES 的集成，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的 Surface 的纹理。这一过程确保了编码器接收到了正确的视频数据格式。

       获取编码后的数据时，WebRTC 使用 MediaCodec 的同步模式进行获取。当数据可用时，通过 callback.onEncodedFrame(encodedImage,iapp云便签源码 new CodecSpecificInfo()) 方法告知引擎，引擎负责进一步处理编码后的帧，如封装 RTP 包和发送到对端。

       码流控制方面，WebRTC 包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来更新比特率。在编码过程中，通过特定的代码逻辑来判断并调整当前的码率与所需码率是否匹配，以适应网络条件的变化。

       本文以几个疑问的方式从源码角度详细解析了整个编码流程，包括从 MediaCodec 的创建和配置、视频数据的编码到编码后的数据获取和码流控制等关键步骤。通过深入分析，希望读者能够更好地理解 WebRTC 在 Android 平台上的编码技术。

       为了进一步加深对 Android 音视频核心知识点的理解，推荐访问以下链接：/Ei3VPD。

MediaCodec源码浅析

       本文从MediaCodec源码的主要结构出发，深入分析了其核心函数dequeueOutputBuffer的实现机制。MediaCodec主要结构包括API、JNI、Native三个部分，这些部分共同构成了客户进程中运行的代码基础。在这些结构中，应用代码通过Java层MediaCodec接口与JNI代码交互，进而调用Native代码，实现解码器的主要逻辑。

       结构上，MediaCodec源码主要分为以下几个关键组件：JMediaCodec、MediaCodec、ACodec和OMXClient。JMediaCodec作为与Java层交互的桥梁，包含智能指针sp和MediaCodec实例mCodec，以及用于事件循环的mLooper。MediaCodec则负责将ACodec与OMX服务端连接起来，实现解码功能。ACodec内部实现为状态机，双端阻塞源码并继承CodecBase功能，其构造函数初始化内部状态类，并设置初始状态为UninitializedState。OMXClient则负责维护与binder的连接，访问binder方法，实现与服务端的交互。

       在分析过程中，重点关注了dequeueOutputBuffer函数的调用流程。该函数从MediaCodec.java调用native_dequeueOutputBuffer，在android_media_MediaCodec.cpp中映射到android_media_MediaCodec_dequeueOutputBuffer函数。最终，此函数通过JMediaCodec.dequeueOutputBuffer调用MediaCodec::dequeueOutputBuffer。在这一过程中，JMediaCodec.dequeueOutputBuffer构建kWhatDequeueOutputBuffer消息，通过ALooper传递给自己处理。消息处理后，将结果返回给调用者，完成输出缓冲区的获取。

       在处理过程中，使用了消息队列来管理输入输出缓冲区。消息队列中包含两个关键组件：mPortBuffers和mAvailPortBuffers。mPortBuffers用于存储解码器的所有缓冲区，而mAvailPortBuffers则作为缓冲区队列，用于管理当前可用的缓冲区。dequeuePortBuffer函数用于从mAvailPortBuffers中获取可用缓冲区的索引。生产过程则通过updateBuffers更新缓冲区状态，清理过程则在returnBuffersToCodecOnPort中进行，清空了mAvailPortBuffers。

       综上所述，MediaCodec源码的核心在于其结构设计和dequeueOutputBuffer函数的实现，通过消息队列管理和缓冲区操作，实现了高效的解码流程。

React Native UI界面还原，组件布局与动画效果

       React Native UI与Android XML布局的对比，显示了两者之间的相似性。在《ReactJS到React-Native，split定位源码片段架构原理概述》一文中提到，React框架在Web环境中，通过最终渲染到浏览器的真实DOM中。而在React Native环境中，通过编译后的JSX源码与对应平台的Bridge通信，实现与原生框架的交互。如果在程序中调用React Native API，React Native框架通过Bridge调用原生框架方法。

       React Native底层为React框架，UI层的变更映射至虚拟DOM进行diff算法，计算变动后的JSON文件，最终由原生层渲染到iOS与Android平台的页面元素上。编写React Native代码最终生成main.bundle.js文件，支持本地或服务器下载。Yoga，一个C语言编写的CSS3/Flexbox跨平台布局引擎，旨在实现iOS、Android、Windows平台的布局兼容，通过API向开发者开放，简化界面布局。

       React Native核心组件与API提供了丰富的UI构建基础，样式方面支持通过JavaScript添加样式表，Flexbox布局提供了响应式App的最佳选择，但在样式一致性上与Web应用存在差异。Weex等开源项目利用了React和宿主平台间的桥接，实现了一个简化版的CSS子集，主要通过flexbox布局，与Android的LinearLayout相似，但Flex布局在优先级上高于宽度。

       动画系统包括Animated和LayoutAnimation，Animated以声明方式定义动画输入与输出，封装6个组件，实现效率优化。配置动画具有灵活性，支持自定义或预定义的电磁暂态仿真源码 easing 函数、延迟、持续时间等。组合动画可实现同时执行、顺序执行、延迟等效果。合成动画值和插值功能丰富了动画控制。跟踪动态值和启用原生动画驱动提供了更高效、独立于JS线程的动画执行。

       LayoutAnimation允许全局范围内创建和更新动画，无需测量或计算特定属性，适用于更新flexbox布局的动画。注意，尽管LayoutAnimation强大，但对动画控制不如Animated等库方便，且在不同驱动方式间不兼容。若需在Android上使用LayoutAnimation，需在UIManager中启用。

Android-Native开发系列之利用AAudio播放音频

       前言

       在Android C/C++层实现音频播放/录制功能，大家可能首先想到的是利用opensles。这是经过考验的实现方式，适配广泛。然而，若项目最低版本支持Android 及以上，追求最小延迟与最高性能时，可考虑AAudio。

       博主之前使用opensles处理音频，后尝试oboe、aaudio实现，有感而发，特此记录，以供参考。

       什么是AAudio？

       AAudio是Android 8.0引入的一种新型C风格接口的底层音频库，旨在追求性能与低延迟。它专注于原始数据的播放与录制，如播放PCM数据。与opensles不同，AAudio不包含编解码模块。

       oboe是对opensles与aaudio的封装，它根据设备判断选择使用aaudio或opensles。例如，在低于Android 8.0的设备上，它会使用opensles。

       配置AAudio开发环境与AAudioStream

       AAudioStream是关键概念，它是与AAudio交换音频数据的基础。我们首先创建AAudioStreamBuilder，然后通过它配置AAudioStream。

       创建AAudioStreamBuilder

       AAudioStream的创建采用builder模式，故需先创建对应的builder对象。

       配置AAudioStream

       通过builder的setXXX函数配置AAudioStream。简要概述这些函数，具体详情请参阅源码注释。

       注释的回调用于后续使用，暂不展开。

       创建AAudioStream

       调用openStream获取配置的AAudioStream对象。接下来，可利用AAudioStream处理音频数据，通过调用相关getXXX函数，验证配置是否满足预期。

       操作AAudioStream

       AAudioStream的状态转换流程图展示了状态变化的路径。涉及的函数包括请求状态变更的函数，这些函数为异步调用。

       AAudioStream处理音频数据有直接读写与回调两种方式，具体选择取决于项目需求。

       通过callback回调处理数据

       回调方式推荐，因其能提供更好的性能。直接读写数据到流方式在大多数情况下的延迟指标表现良好，具体取决于项目需求。

       使用callback方式处理数据需设置回调函数dataCallback与errorCallback，分别在AAudio需要数据时与出现错误时触发。

       注意

       回调函数内避免执行耗时任务。errorCallback触发时需在新线程中处理，可直接调用AAudioStream相关的getXXX函数。

       AAudio使用demo

       GitHub上已提供使用demo，欢迎查看并star。

       补充内容

       underrun & overrun

       underrun与overrun是音频数据生产和消费节奏不匹配导致的问题，分别指播放时未及时写入数据与录制时未及时读取数据。

       AAudio通过动态调整缓冲区大小来降低延迟，避免underrun。

       Thread safety

       AAudio接口并非完全线程安全，使用时需注意。

       结论

       AAudio接口简洁，与opensles相比代码量减少，功能略显不足，如解码与音量控制等。选择取决于实际需求。

       已提供GitHub链接，配合文章阅读更易理解。

       参考链接：developer.android.com/ndk/guides/...

Android 视频硬件编码

       本文将深入探讨 Android 平台上 WebRTC 如何利用 MediaCodec 对视频数据进行编码，并分析 webrtc native 与 java 之间的流程交互。

       首先，我们将回顾 Android 的 MediaCodec 概念及其基本使用，然后深入源码进行详细分析。

       MediaCodec 是 Android 提供的一个处理音频和视频数据的底层 API，支持编码和解码过程。自 Android 4.1（API ）起引入，通常与 MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface 等一起使用。

       在 WebRTC 中，VP8 编码器是优先使用的，因此要分析 Android 上硬件编码的流程，需要先支持 H 硬件编码。

       MediaCodec 是 Android 中处理音视频编解码的关键组件。了解其基本概念和用法有助于构建高效、稳定的媒体应用程序。

       在 WebRTC 中，如何使用硬件编码器？通过 DefaultVideoEncoderFactory 默认编码器，内部实现是使用硬件编码器。在 DefaultVideoEncoderFactory 中看到 createEncoder 函数，内部是实例化 HardwareVideoEncoder 的地方。

       WebRTC 如何将数据送入编码器？WebRTC 使用 VideoEncoder 接口进行视频编码，该接口定义了一个用于编码视频帧的方法：encode(VideoFrame frame, EncodeInfo info)。WebRTC 提供了一个名为 HardwareVideoEncoder 的类，该类实现了 VideoEncoder 接口，并使用 MediaCodec 对视频帧进行编码。

       在 HardwareVideoEncoder 类中，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的 Surface 的纹理。这是通过使用 EglBase 类创建一个 EGL 环境，并使用该环境将 VideoFrame 的纹理绘制到 Surface 上来实现的。

       WebRTC 如何获取编码后的数据？在 HardwareVideoEncoder 类中，使用 MediaCodec 同步模式获取编码后的数据。当数据可用时，会调用 callback.onEncodedFrame(encodedImage, new CodecSpecificInfo()); 方法，然后将编码后的帧传递给 WebRTC 引擎。

       WebRTC 如何做码流控制？WebRTC 的码流控制包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来通知更新比特率。

       本文深入剖析了 WebRTC 在 Android 平台上如何使用 MediaCodec 对视频数据进行编码，以及整个编码过程中 webrtc native 与 java 的流程交互。希望本文能帮助读者更好地理解 WebRTC Android 编码技术。

Expo 搭建 React-native 项目代码目录分析

       创建一个React-native项目涉及多个步骤，其中Expo提供四种工具以简化开发过程。选择初始化模板时，可根据实际需求，如项目演示、组件预览或个人项目等，对应选择不同的模板。例如，选择"blank"模板适用于项目演示和组件预览，"tabs"模板则适用于需要底部tab菜单的项目，"minimal"模板适合需要控制原生代码的项目。

       React Native目录结构提供了组件开发的示例目录和相关配置指南。目录结构主要包括src、test和demo三个主要部分，以及根目录下的配置文件。src目录存放React Native组件的源码，test目录包含测试相关代码，而demo目录中包含独立的Expo项目，其中的App.js文件是开发示例的核心，展示src目录中提供的组件。

       引入Expo时，由于默认目录结构与metro打包工具的期望不符，需手动调整metro配置文件。首先安装Expo CLI工具，然后选择创建项目，使用命令预览生成的Expo项目。配置metro时，需调整providesModule路径解析名，注入引用的库，如react-native、react和prop-types，确保src目录中的引用能正确解析。配置完成，即可在App.js中引入src中的组件，运行yarn start以在Expo中展示组件。

       React Native组件目录结构的灵活性提供多种可能性，本文提供的是一种实用思路。在实际开发中，根据项目需求调整目录结构和配置，以实现高效和可维护的开发流程。

java是如何调用native方法？hotspot源码分析必会技能

       在深入研究JDK源码，如并发包和Thread相关部分时，往往会遇到native修饰的方法，它们隐藏在层层方法的底层。native方法的存在并非偶然，它是解决Java语言与操作系统直接交互的关键。Java作为高层语言，需要JVM作为桥梁，将Java指令转换为可以直接操作系统的C或C++代码，这就是native方法的用武之地。

       JDK、JRE和JVM的关系是这样的：JDK包含JRE，其中的JVM负责执行Java代码并进行操作系统间的转换。在OpenJDK源码中，特别是hotspot实现的JVM中，能找到native方法的具体实现。JNI（Java Native Interface）技术用于模拟Java调用C或C++编写的native方法，确保跨平台的兼容性。

       让我们通过实践来理解这个过程。首先，创建一个简单的Java类，通过javac编译，生成JavaCallC.class文件。然后使用javah命令生成JavaCallC.h头文件，这是C语言调用Java的关键部分，需要与Java代码中的native方法签名匹配。接着，编写C代码（Cclass.c），编译成动态链接库libJavaCallC.so，并将库文件路径添加到LD_LIBRARY_PATH环境变量中。

       最后，执行JavaCallC命令，如果一切顺利，会看到"Java_JavaCallC_cMethod call succ"的输出，表明Java成功调用了native方法。在尝试过程中可能会遇到各种问题，但通过一步步的调试和学习，我们可以逐步掌握这个过程。