皮皮网

1.Koa洋葱模型 从理解到实现
2.冬训营丨高级威胁活动中C2的洋葱源码洋葱原理多样风格
3.七爪源码：C# 中的扩展方法
4.Spark-Submit 源码剖析
5.Koa 洋葱模型

Koa洋葱模型 从理解到实现

       当使用Koa框架时，Middleware（中间件）的网络网络概念想必大家已不陌生。让我们从实例出发，洋葱源码洋葱原理通过自定义两个中间件——logTime用于打印时间戳，网络网络logUrl负责打印路由——来探索Koa的洋葱源码洋葱原理洋葱模型。

       在index.js中，网络网络福鼎溯源码作假我们按顺序使用这两个中间件。洋葱源码洋葱原理启动服务并访问路由如/test，网络网络你会观察到两个现象：

       首先，洋葱源码洋葱原理你可能会疑惑：Koa的网络网络设计为何不按顺序从头到尾执行中间件？

       其次，当中间件存在依赖关系时，洋葱源码洋葱原理如何确保前面的网络网络中间件能利用后续中间件的操作结果？比如，logUrl可能处理了url并添加了时间戳，洋葱源码洋葱原理logTime需要获取并打印这个时间戳。网络网络

       这些现象揭示了Koa洋葱模型的洋葱源码洋葱原理设计原理：中间件的执行顺序是关键。外层（上游）中间件先执行，处理完后通过next函数传递控制权给内层（下游）中间件。这样可以确保每个中间件在适当的时机获取和操作数据，避免了单次链式调用时的依赖问题。

       通过源码分析，我们发现Koa的实现依赖于`koa-compose`库，它负责管理中间件的执行流程。我们需要对中间件数组进行包装，以便在调用next时传递必要的上下文信息。通过`bind`方法，房产拍卖源码我们得以保留和传递必要的参数，实现洋葱模型的逻辑。

       总结来说，我们从现象出发，通过实例和源码理解了Koa洋葱模型的必要性和工作方式。通过自定义实现，我们加深了对这一模型的理解。

冬训营丨高级威胁活动中C2的多样风格

       C2是什么？它是指APT组织掌握的基础设施，即IP、域名、URL。作为动词，C2意味着命令与控制（Command and Control），APT组织基于各种网络基础设施，如广域网/公网、局域网/内网、Tor洋葱路由、卫星等，对已成功入侵的目标进行控制、指令下发、资源下发和数据回传。

       在命令与控制过程中，APT组织通过OODA循环展开网空杀伤链，C2属于控制阶段。自助系统源码攻击方需要隐蔽自身行为和通信通道，即使被发现也难以定位真实的C2基础设施，甚至定位到基础设施也无法溯源到攻击方。攻击方为达成效果，使用了多种技术手段，包括Payload、信道、协议、报文、基础设施和C2节点。以下将从基础设施角度，探讨C2的多样风格。

       案例一：APT组织入侵网站作为C2

       年，安天发布报告指出，攻击者利用BBS漏洞入侵网站，上传Webshell和其他组件作为C2。Webshell作为跳板机，实现邮件发送、信息接收和恶意载荷下载。通过分析发现，攻击者可能使用自研Webshell，能够获取网站服务器信息。Webshell采用加密手段进行保护，但无法直接作为检测指标。云源码充值

       案例二：APT组织利用DDR作为C2

       DDR是一种间谍活动策略，用于在未见面的情况下进行信息传递。越来越多APT组织将其用于合法Web服务作为C2，方便创建和测试环境，且加密报文难以直接封禁，对安全产品构成挑战。

       案例三：利用入侵的IoT设备作为C2

       海莲花组织自年开始使用IoT设备转发流量，隐藏真实C2地址，通过设备取证可获取真实C2节点。

       案例四：美国CIA自建C2基础设施控制平台蜂巢

       年，维基解密公开了CIA使用的Hive源代码和开发日志，Hive是用于控制恶意软件基础设施的组件，通过可选身份验证隐藏C2节点。

       案例五：使用可移动设备作为C2

       APT组织在隔离网络中使用可移动设备作为C2，如在SolarWinds供应链攻击中，APT组织利用基于Cobalt Strike的SMB管道作为内网C2。

       案例六：基于域名前置的隐蔽通道作为C2

       APT组织使用域名前置隐蔽通道和Tor洋葱路由隐藏C2节点。

       案例七：图拉组织利用卫星通信作为C2

       图拉组织通过中东和非洲国家的卫星网络进行通信，很难追踪到具体位置。他们可能通过BGP劫持卫星通信协议作为C2信道。

       案例八：利用其他组织的C2作为C2

       年，图拉组织劫持伊朗APT组织的网络基础设施作为恶意软件下载服务器，将恶意软件植入目标网络。

       结合案例，ossim源码替换高级威胁活动中C2的多样风格得到抽象化总结。从威胁框架整体看，C2问题已不仅仅是单一维度。通过深入挖掘流量中的协议和文件格式，提升ATT&CK威胁框架的覆盖度。在定位、观察和情报层面形成闭环，针对C2的多样化情况进行猎杀与捕获。

七爪源码：C# 中的扩展方法

       扩展方法在C#中允许将方法“添加”到现有类型，无需创建新的派生类型或修改原始类型。扩展方法实质上是静态方法，但其调用方式如同实例方法，这在C#、F#和Visual Basic的客户端代码中没有明显区别。常见的扩展方法包括向System.Collections.IEnumerable和System.Collections.Generic.IEnumerable添加查询功能的LINQ标准查询运算符。

       例如，使用System.Linq指令将标准查询运算符引入范围后，可以对整数数组调用OrderBy方法进行排序。扩展方法定义为静态方法，使用实例方法语法调用，第一个参数指定方法操作的类型，并带有this修饰符。扩展方法的范围取决于是否使用using指令显式导入命名空间。

       以下示例展示了为System.String类定义的扩展方法，WordCount方法，定义在非嵌套、非泛型的静态类中。使用using指令即可进入范围并调用该方法。调用扩展方法时使用实例方法语法，编译器将生成中间语言（IL）以对静态方法进行调用。

       扩展方法允许在代码中调用，MyExtensions类和WordCount方法都是静态的，可以通过其他静态成员访问。WordCount方法可以像其他静态方法一样被调用。

       扩展方法的调用在编译时进行。当编译器遇到方法调用时，首先在类型的实例方法中查找匹配项，如果没有找到，则搜索该类型定义的任何扩展方法，并绑定到第一个找到的扩展方法。如果一个类型有一个名为Process(int i)的方法，并且有一个具有相同签名的扩展方法，则编译器将始终绑定到实例方法。

       使用扩展方法的常见模式包括：

       1. 收集功能：过去，为给定类型创建实现System.Collections.Generic.IEnumerable接口并包含该类型集合功能的“集合类”是常见的做法。然而，通过使用System.Collections.Generic.IEnumerable上的扩展，可以实现相同功能，提供从任何集合调用功能的灵活性，如System.Array或System.Collections.Generic.List上的实现。

       2. 特定层的功能：在使用洋葱架构或其他分层应用程序设计时，域实体或数据传输对象通常不包含功能或仅包含适用于所有层的最小功能。扩展方法可用于为每个应用程序层添加特定功能，无需引入其他层不需要或不需要的方法。

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~

Koa 洋葱模型

       Koa 是一个轻量级的 web 框架，由 Express 的团队打造，旨在简化 web 应用与 API 开发。它利用 async 函数改进错误处理，没有固定中间件，而是提供便利方法构建服务端应用。

       “洋葱模型”概念，通过一个简单的实例展示。输入 localhost:，控制台显示结果，中间件的执行顺序体现。Koa 中间件通过 next 函数分割，上半部分先执行，下半部分在后续中间件调用后执行。

       实现洋葱模型的核心在于函数调用方法，自顶向下嵌套函数，形成类似结构。借助 JavaScript 事件循环机制，先执行同步代码，异步代码入队等待。调用父函数时，按序执行嵌套函数。

       简版实现步骤：从第一个函数开始，依次将下个函数作为参数传入。这样，自底向上递归调用，最终只执行一次 next()，实现中间件链式调用。

       Koa 洋葱模型的源码展示了核心逻辑，包括两关键点。另一种实现方式是逆序封装中间件，每次都将当前执行函数作为 next 参数传给前一个中间件，最终顺序执行所有中间件。