1.[转]Megatron-LM源码系列(八)： Context Parallel并行
2.Go 组件：context 学习笔记
3.Context 使用场景&&源码解读
4.SpringBoot源码 | refreshContext方法解析
5.Spring Boot源码解析（四）ApplicationContext准备阶段
6.React中不常用的编编程功能——Context

[转]Megatron-LM源码系列(八)： Context Parallel并行

       原文链接： Megatron-LM源码系列(八)： Context Parallel并行

       Context Parallel并行(CP)与sequence并行(SP)相比，核心差异在于SP只针对Layernorm和Dropout输出的程源activation在sequence维度进行切分，而CP则进一步扩展，编编程对所有input输入和所有输出activation在sequence维度上进行切分，程源形成更高效的编编程并行处理策略。除了Attention模块外，程源星球刀源码推荐其他如Layernorm、编编程Dropout等模块在CP并行中无需任何修改，程源因为它们在处理过程中没有涉及多token间的编编程交互。

       Attention模块之所以特殊，程源是编编程因为在计算过程中，每个token的程源查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算，存在内在依赖性。编编程虚拟货币如何交易 源码因此，程源在进行CP并行时，编编程计算开始前需要通过allgather通信手段获取所有token的KV向量，反向计算时则通过reduce_scatter分发gradient梯度。

       为了降低显存使用，前向计算阶段每个GPU仅保存部分KV块，反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置（相同TP组内）进行，底层通过send和recv等操作实现allgather和reduce_scatter。

       以TP2-CP2的transformer网络为例，CP并行的通信操作在Attention之前执行，其他则为TP通信。曲线图统计源码AG表示allgather，RS表示reduce_scatter，AG/RS表示前向allgather反向reduce_scatter，RS/AG表示前向reduce_scatter反向allgather。

       TP2对应为[GPU0, GPU1], [GPU2, GPU3]，CP2指的就是TP组相同位置的rank号，即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention，但提供了OSS与FlashAttention版本，并去除了冗余的low-triangle causal masking计算。

       LLM常因序列长度过长而导致显存耗尽（OOM）。传统解决方法包括重计算或扩大TP（tensor parallel）大小，企业信使运营平台源码但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题，每个GPU处理一部分序列，同时减少CP倍的通信和计算量，同时保持TP不变，使得activation量也减少CP倍。性能优化结果展示于图表中，用户可通过指定--context-parallel-size在Megatron中实现CP。

       具体源码实现以Megatron-Core 0.5.0版本为例进行说明。

       

参考资料：

[链接]

Go 组件：context 学习笔记

       作者：@神奇的君，腾讯CSIG后台开发工程师

       在追求Go语言强大并发能力的过程中，Context成为了不可或缺的三网积分兑换源码工具。它使得协程间的协作和管理更加便捷，尤其是在需要控制协程状态和同步操作时。

       想象没有Context的世界，每个编程语言都有自己的并发控制方式，比如Java通过join进行同步。在Go中，channel和sync包常用于协程间通信，channel用于通知协程执行特定操作，而sync则用于加锁和同步。

       以往，若要实现协程的终止，可能会通过channel来控制，因为Go协程不支持直接外部退出。例如，通过设置关闭条件，每个协程需要判断channel的状态，这在处理全局时间限制时显得复杂。这时，Context的出现就显得尤为重要。

       Context简化了代码，通过Context，我们可以轻松地在库函数中利用ctx.Done()来判断协程状态。例如，/post/spring...

Vert.x 源码解析(4.x)——Context源码解析

       Vert.x 4.x 源码深度解析：Context核心概念详解

       Vert.x 通过Context这一核心机制，解决了多线程环境下的资源管理和状态维护难题。Context在异步编程中扮演着协调者角色，确保线程安全的资源访问和有序的异步操作。本文将深入剖析Context的源码结构，包括其接口设计、关键实现以及在Vert.x中的具体应用。

       Context源代码解析

       Context接口定义了基础的事件处理功能，如立即执行和阻塞任务。ContextInternal扩展了Context，包含内部方法和功能，通常开发者无需直接接触，如获取当前线程的Context。在vertx的beginDispatch和endDispatch方法中，Context的切换策略取决于线程类型，Vertx线程会使用上下文切换，而非Vertx线程则依赖ThreadLocal。

       ContextBase是ContextInternal的实现类，负责执行耗时任务，内部包含TaskQueue来管理任务顺序。WorkerContext和EventLoopContext分别对应工作线程和EventLoop线程的执行策略，它们通过execute()、runOnContext()和emit()方法处理任务，同时监控性能。

       Context的创建和获取贯穿于Vert.x的生命周期，它在DeploymentManager的doDeploy方法中被调用，如NetServer和NetClient等组件的底层实现也依赖于Context来处理网络通信。

       额外说明

       Context与线程并非直接绑定，而是根据场景动态管理。部署时创建新Context，非部署时优先获取Thread和ThreadLocal中的Context。当执行异步任务时，当前线程的Context会被暂时替换，任务完成后才恢复。源码中已加入详细注释，如需获取完整注释版本，可联系作者。

       Context的重要性在于其在Vert.x的各个层面如服务器部署、EventBus通信中不可或缺，它负责维护线程同步与异步任务的执行顺序，是异步编程中不可或缺的基石。理解Context的实现，有助于更好地利用Vert.x进行高效开发。

Application中的 Context 和 Activity 中的Context区别

        Context在我们开发中经常用到，不管是Framework提供给我们的四大组件，还是应用级别的Application，还是负责表现层的View相关类，甚至连我们很多时候创建的实体类都会需要持有一个Context的引用。那么Context到底是什么呢？

        建议看这个： /p/bde4cb

        Context英文释义是当前上下文，或者当前场景上，

        官方文档：Context

        public abstractclass Context extends Object

        Interface to globalinformation about an application environment. This is an abstract class whoseimplementation is provided by the Android system. It allows access toapplication-specific resources and classes, as well as up-calls forapplication-level operations such as launching activities, broadcasting andreceiving intents, etc.

        由官方文档，我们可以知道：

        1.该类是一个抽象（abstract class）类；

        2.它描述的是一个应用程序环境的信息，即上下文；

        3.通过它（Context）我们可以获取应用程序的资源和类，也包括一些应用级别的操作（例如，启动 Activity,广播和服务等）;

        前面我们讲过 Context 是一个抽象类，通过 Context我们可以获取应用程序的资源和类，调用它们的方法，那么具体定义的方法有哪些呢？我们来看一下 Context 的源码：

        源码里的方法太多了，总共 行。我们从以上部分源码看到了熟悉的对象---Application、Activity、Service、Broadcast、这些对象和 Context 的关系到底是什么呢？我们看一下官方文档可知：

        1.Acitiivity 继承自ContextThemeWrapper--->再继承ContextWrapper--->Context。

        2.Appliction 、Service继承自ContextWrapper--->再继承Context。

        3.Application、Service 和 Activity 最终都是继承自Context，所以它们是同一个上下文。

        通过以上的继承关系，我们就可以知道，Context的具体作用会包括：

        - 启动一个新的Activity

        - 启动和停止Service

        - 发送广播消息(Intent)

        - 注册广播消息(Intent)接收者

        - 可以访问APK中各种资源，如Resources和AssetManager

        - 创建View

        - 访问Package的相关信息

        - APK的各种权限管理

        由上面分析的继承关系，我们可以知道，Context创建的时机有三个：

        ①创建Application 对象时， 而且整个App共一个Application对象；

        ②创建Service对象时；

        ③创建Activity对象时；

        所以应用程序App共有的Context数目公式为：

        Service个数 + Activity个数 + 1（Application对应的Context实例）

        如上，Android中context可以作很多操作，但是最主要的功能是加载和访问资源。在android中常用的context有两种，一种是application context，一种是activity context，通常我们在各种类和方法间传递的是activity context。

        两者的区别：

        this是Activity 的实例，扩展了Context，其生命周期是Activity 创建到销毁。getApplicationContext()返回应用的上下文，生命周期是整个应用，应用摧毁它才被摧毁。Activity.this的context 返回当前activity的上下文，属于activity ，activity摧毁时被摧毁。

        使用Context时最需要注意的一个点就是，使用了不正确的context，比如有一个全局的数据操作类用到了context，这个时候就要getApplicationContext 而不是用ACtivity，如果在这个全局操作中引用的是Activity的context，那么就会一直引用Activity的资源，导致GC无法回收这部分内存，从而最终导致了内存泄漏。

        内存泄漏是开发中常见的错误之一，能不能发现取决于开发者的经验，当然了我们也会依赖现有的内存泄漏库，但是如果我们在开发的源头减少内存泄漏的概率，那么后期的工作会少很多。

        以下是避免context相关的内存泄露，给出的几点建议：

        以下的表列举的是三种Context对象的对应使用场景：

        从表中可以看到，和UI相关的都使用Activity的Context对象。

        小结：如上分析，Context在对应开发里的来源就是三个——Activity、Service和Appliaction，那么我们该如何选择使用哪一个Context对象呢？一个比较简单的方法是，当你无法确定使用某个Context对象是否会造成长引用导致内存泄漏时，那么就使用Appliaction的Context对象，因为Appliaction存在于整个应用的生命周期内。

        在实际开发中，我们往往会为项目定义一个Applictaion，然后在AndroidMainfest.xml文件中进行注册，

        而且在自定义Application往往会定义好一个静态方法，用以全局获取application实例：

        Activity和Application都是Context的子类，但是他们维护的生命周期不一样。前者维护一个Acitivity的生命周期，所以其对应的Context也只能访问该activity内的各种资源。后者则是维护一个Application的生命周期。

        1.如何判断context是属于哪个activity？

        2.全局不同如何获取对应的context？

        静态加载一个Fragment，在onCreateView()方法中通过getActivity获取上下文实例：

        3.四大组件可以像普通Java类一样，采用new的方式实例化吗？

        Android程序不像Java程序一样，随便创建一个类，写个main()方法就能运行，Android应用模型是基于组件的应用设计模式，组件的运行要有一个完整的Android工程环境，在这个环境下，Activity、Service等系统组件才能够正常工作，而这些组件并不能采用普通的Java对象创建方式，new一下就能创建实例了，而是要有它们各自的上下文环境，也就是我们这里讨论的Context。可以这样讲，Context是维持Android程序中各组件能够正常工作的一个核心功能类。