1.【Docker】MySQL 源码构建 Docker 镜像（基于 ARM 64 架构）
2.Docker 源码分析
3.安全干货DockerCVE-2018-6552
4.深入 Dify 源码，源码洞察 Dify RAG 核心机制
5.Docker源码安装附内网镜像安装演示
6.容器服务的剖析深入应用及原理剖析（4）带你了解Docker Compose

【Docker】MySQL 源码构建 Docker 镜像（基于 ARM 64 架构）

       基于 ARM 架构，为避免MySQL版本变化带来的源码额外成本，本文将指导你如何从头构建MySQL 5.7.的剖析Docker镜像。首先，源码我们从官方镜像的剖析源码用不了Dockerfile入手，但官方仅提供MySQL 8.0以上版本的源码ARM镜像，因此需要采取特殊步骤。剖析

       步骤一，源码使用dfimage获取MySQL 5.7.的剖析原始Dockerfile，注意其原文件中通过yum安装的源码逻辑不适用于ARM，因为官方yum源缺少该版本的剖析ARM rpm。所以，源码你需要:

       在ARM环境中安装必要的剖析依赖

       下载源码并安装

       修改源码配置以适应ARM架构

       编译源码生成rpm文件，结果存放在/root/rpmbuild/RPMS/aarch目录

       构建镜像的源码Dockerfile、docker-entrypoint.sh脚本（解决Kylin V兼容性问题，会在后续文章详细说明）以及my.cnf文件是构建过程中的关键组件。虽然原Dockerfile需要调整以消除EOF块的报错，但整个过程需要细心处理和定制化以适应ARM平台。

Docker 源码分析

       本文旨在解析Docker的核心架构设计思路，内容基于阅读《Docker源码分析》系文章后，整理的核心架构设计与关键部分摘抄。Docker是Docker公司开源的基于轻量级虚拟化技术的容器引擎项目，使用Go语言开发，遵循Apache 2.0协议。Docker提供快速自动化部署应用的能力，利用内核虚拟化技术（namespaces及cgroups）实现资源隔离与安全保障。相比虚拟机，Docker容器运行时无需额外的系统开销，提升资源利用率与性能。醒购源码

       Docker迅速获得业界认可，包括Google、Microsoft、VMware在内的领导者支持。Google推出Kubernetes提供Docker容器调度服务，Microsoft宣布Azure支持Kubernetes，VMware与Docker合作。Docker在分布式应用领域获得万美元的C轮融资。

       Docker的架构主要由Docker Client、Docker Daemon、Docker Registry、Graph、Driver、libcontainer以及Docker container组成。

Docker Client：用户通过命令行工具与Docker Daemon建立通信，发起容器管理请求。

Docker Daemon：后台运行的系统进程，接收并处理Docker Client请求，通过路由与分发调度执行相应任务。

Docker Registry：存储容器镜像的仓库，支持公有与私有注册。

Graph：存储已下载镜像，并记录镜像间关系的数据库。

Driver：驱动模块，实现定制容器执行环境，包括graphdriver、networkdriver和execdriver。

libcontainer：库，使用Go语言设计，tracert源码c直接访问内核API，提供容器管理功能。

Docker container：Docker架构的最终服务交付形式。

       架构内各模块功能如下：

Docker Client：用户与Docker Daemon通信的客户端。

Docker Daemon：后台服务，接收并处理请求，执行job。

Graph：存储容器镜像，记录镜像间关系。

Driver：实现定制容器环境，包括管理、网络与执行驱动。

libcontainer：库，提供内核访问，实现容器管理。

Docker container：执行容器，提供隔离环境。

       核心功能包括从Docker Registry下载镜像、创建容器、运行命令与网络配置。

       总结，通过Docker源码学习，深入了解其设计、功能与价值，有助于在分布式系统实现中找到与已有平台的契合点。同时，熟悉Docker架构与设计思想，为云计算PaaS领域带来实践与创新启发。

安全干货DockerCVE--

       cve--

       此漏洞未有公开分析，黄色站点源码唯一的参考是长亭在滴滴安全大会的PPT，信息简略，仅在完成利用后发现一些未注意到的细节。漏洞基于条件竞争，主要影响未修复版本的is_same_as函数，通过特殊方法使其不执行正常逻辑，继续往下执行。

       源码分析

       展示了is_same_as源码，以及修复前后版本的对比。apport源码位于2..9版本，追踪源码找到更改过的pid进入get_pid_info，贴出源码。

       apport为ubuntu程序，用于处理程序崩溃信息，配置文件如/sys/kernel/core_pattern影响生成core文件的命名方式。核心是确定生成的core文件路径，以及内核coredump.c传入的参数。

       核心配置文件为/sys/kernel/core_uses_pid，值为1代表生成的core文件带.pid，0代表不带。同时，/proc/sys/kernel/pid_max限制最大pid值，影响核心循环计数。logrotate配置用于日志管理。

       在Ubuntu .中，apport与漏洞版本差异大，选择替换整个apport文件。遇到程序不运行问题，可能涉及core_pattern配置。印务网站源码通过日志分析发现入参多了一个%E，删去后程序恢复正常。

       逃逸步骤

       利用条件竞争绕过分支，首先kill对应pid，然后通过大量fork等待创建进程，占用pid。利用docker内进程路径控制物理机中core生成路径。生成core前检查ulimit -c，限制core文件大小，设置ulimit -c unlimited。

       逃逸第二步

       通过logrotate定时任务触发执行core中的指令，将想运行的指令写成字符串形式，保存在core文件中。使用logrotate格式编写命令，确保成功执行。手动触发logrotate命令，监听对应端口以获取返回结果。

深入 Dify 源码，洞察 Dify RAG 核心机制

       深入探究Dify源码，揭示RAG核心机制的关键环节

       在对Dify的完整流程有了初步了解后，发现其RAG检索效果在实际部署中不尽如人意。因此，针对私有化部署的Dify，我结合前端配置和实现流程，详细解析了技术细节，旨在帮助调整知识库配置或进行定制化开发。

       Docker私有化部署技术方案

       本文重点聚焦于Dify docker私有化部署的默认技术方案，特别是使用Dify和Xinference的GPU环境部署。若想了解更多，可查阅Dify与Xinference的集成部署教程。

       RAG核心流程详解

       Extractor：负责原始文件内容的提取，主要在api/core/rag/extractor/extract_processor.py中实现。分为Dify默认解析和Unstructured解析，后者可能涉及付费，通常Dify解析更为常用。

       Cleaner：清洗解析内容，减少后续处理负担，主要基于规则进行过滤，用户可在前端进行调整。

       Splitter：文件分片策略，Dify提供自动和自定义两种，影响检索效果。

       Retrieval：Dify支持多种检索模式，包括关键词检索和向量数据库检索，向量库的选择对效果有很大影响。

       Rerank：对检索结果进行排序，配置Top K和score阈值，但存在设计上的不足。

       总结与优化建议

       Dify的RAG服务提供了基础框架，但性能优化空间大。通过调整配置，特别是针对特定业务场景，可以改善检索效果。对RAG效果要求高的用户，可能需要进行定制化的二次开发和优化。

Docker源码安装附内网镜像安装演示

       系统版本要求源码包下载

       官网下载地址（download.docker.com/lin...）

       我这里已docker-...tgz该版本做演示

       1.下载源码包文件到本地

       2.通过远程连接工具（xShell、SecureCRT等将源码包文件上载到服务器自定义目录）

       3.解压文件

       4.配置docker为service服务

       5.添加可执行权限

       注：如遇到启动不成功可通过状态查询、/var/log/messages/运行日志或直接使用dockerd命令查看错误信息，如还解决不了建议服务器重启一下在运行docker启动命令

       6.配置镜像加速

       7.检查安装版本内网下载镜像

       注：使用docker pull拉取镜像的时候需要网络，但是项目部署一般都是在内网。内网访问不了外网，所以需要在外网环境下把需要的镜像拉取下来打包，然后拷贝到内网，载入到内网的docker

       1.在外网机器上拉取mysql镜像，可以看到外网的docker已经拉取了镜像。

       2.将镜像打包成tar压缩包

       3.将打包好的mysql镜像包通过远程工具下载到本地

       4.拷贝到内网linux服务器并载入docker

       docker基础命令使用（扩展）下载镜像：(hub.docker.com/search/官网镜像地址)

       docker pull [IMAGE_NAME]:[TAG] #命令格式

       docker pull mysql:8.0 #下载mysql8.0镜像（不指定默认下载最新版本）

       查看当前镜像版本

       docker -v #查看当前安装版本

       docker version #查看版本信息

       docker info #查看系统信息

       docker images #查看当前镜像

       docker search 镜像名 #搜索镜像

       镜像、容器删除

       docker rm 容器ID

       docker rm 容器名字

       docker rmi 镜像ID

       docker rmi 镜像名

       docker rmi -f 镜像ID #强制删除

       创建网络及数据卷

       docker volume create +数据卷名称

       docker volume list #查看当前数据卷信息

       docker network create -d bridge +网络名称

       docker network ls #查看当前网络

       docker inspect containername +id #查看容器的hash值

       启动、关闭容器

       docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2) #关闭所有容器

       docker start $(docker ps -a | awk '{ print $1}' | tail -n +2) #开启所有容器

       杂

       docker inspect 容器ID （使用该命令重点关注容器ip） #查看容器/镜像元数据

       docker exec #在运行的容器中执行命令

       docker exec -it 容器ID /bin/bash #以交互模式开启伪终端

容器服务的深入应用及原理剖析（4）带你了解Docker Compose

       一、Docker Compose简介

       1.什么是compose

       Docker-compose 是一个定义和运行多个 Docker 应用的工具，你可以使用YMAL文件来配置你的服务，然后使用docker-compose 命令，创建和启动、编排所有你配置的服务。

       2.compose可以在任何工作环境中使用，生产环境，开发环境，持续集成等等。

       3.从logo上可以看出来, 它就是一个管理容器的工( zhang )具( yu ), 我们可以方便的使用它来管理我们的Docker容器, 可以极大程度的简化命令行的复杂操作。

       二、Docker Compose 安装

       版本：1..0-rc4

       1.安装

       看到版本信息，说明安装成功。

       2.卸载

       常见问题： 如果安装完成后，查看版本频繁报错，如下 Cannot open self /usr/local/bin/docker-compose or archive /usr/local/bin/docker-compose.pkg 可使用下面的解决方案 1、切换到/usr/local/bin，删除之前的下载/docker-compose 2、切换到/usr/local/bin执行下面的命令 wget github.com/docker/compo... 3、下载完毕后重命名为docker-compose mv docker-compose-Linux-x_ docker-compose 4、赋权限 5、查看版本成功

       三、Compose 核心概念与常用命令

       1.Compose 核心概念

       模板文件

       即 project 包含 service ，service 包含 container

       2.Compose模板文件介绍

       Compose模板文件格式

       Docker Compose 使用 YAML 文件来定义多服务的应用。

       Docker Compose 默认使用文件名 docker-compose.yml。当然，也可以使用 -f 参数指定具体文件

       官方提供了一个 yaml Docker Compose 配置文件的标准例子 提示：可以用 .yml 或 .yaml 作为文件扩展名

       version：指定 docker-compose.yml 文件的写法格式

       replicas

       指定运行容器的数量

       update_config

       mode

       replicated 如果服务是replicated（默认)，需要指定运行的容器数量

       restart_policy 重启策略

       配置容器的重新启动，代替restart

       卷标设置与查看

       挂载方式对比： 绝对路径：直接挂载到本地，比较直观，但需要管理本地的路径 卷标：简洁，但你不知道数据存在本地什么位置

       网络定义

       目的：实现网络隔离

       docker network create --subnet=..0.0/ frontend

       Docker Compose版本

       3.Compose常用命令

       常用命令汇总

       1) docker-compose up

       用于部署一个 Compose 应用。 默认情况下该命令会读取名为 docker-compose.yml 或 docker-compose.yaml 的文件。

       当然用户也可以使用 -f 指定其他文件名。通常情况下，会使用 -d 参数令应用在后台启动。

       2) docker-compose start

       启动

       3) docker-compose stop

       停止 Compose 应用相关的所有容器，但不会删除它们。 被停止的应用可以很容易地通过 docker-compose restart 命令重新启动。

       4) docker-compose rm

       用于删除已停止的 Compose 应用

       它会删除容器和网络，但是不会删除卷和镜像。

       5) docker-compose restart

       重启已停止的 Compose 应用。 如果用户在停止该应用后对其进行了变更，那么变更的内容不会反映在重启后的应用中

       这时需要重新部署应用使变更生效。

       6) docker-compose ps

       用于列出 Compose 应用中的各个容器。 输出内容包括当前状态、容器运行的命令以及网络端口。

       7) docker-compose down

       停止并删除运行中的 Compose 应用。 它会删除容器和网络，但是不会删除卷和镜像

       8) docker-compose logs web

       9) docker-compose build

       当你改变本地代码之后，先执行 docker-compose build 构建新的镜像，然后执行 docker-compose up -d 取代运行中的容器

       四、Docker Compose 工作原理

       1.Compose 的一次调用流程

       1) 首先，用户执行 docker-compose up 命令调用命令行中的启动方法

       2) 然后，如果当前宿主机已经存在与该应用对应的容器，docker-compose 则进行行为逻辑判断。如果用户指定可以重新启动已有服务，docker-compose 就会执行 service 模块的容器重启方法，否则就直接启动已有容器。这两种操作的区别在于前者会停止旧的容器，创建并启动新的容器，并把旧容器移除掉。

       3) 最后，contaier 模块会调用 docker-py 客户端来执行向 docker daemon 发起创建容器的 POST 请求。

       PS：如果本文对您有帮助，请关注我们的公众号：黑马 架构师还有B站号：博学谷（持续更新优质技术讲解视频） 欢迎和我们一起讨论学习哦 ^-^ ~

       相关学习：

       超 清 晰MyBatis源码剖析，学到就是赚到_哔哩哔哩_bilibili

       架构师必备技能 | 微服务治理深入RPC原理，够全面、够深入、够接地气。_哔哩哔哩_bilibili

       架构师都要会！详谈微服务架构体系，赶 紧 学 起 来_哔哩哔哩_bilibili

       必看！Nacos配置中心发布与配置

浅析源码 golang kafka sarama包(一)如何生产消息以及通过docker部署kafka集群with kraft

       本文将深入探讨Golang中使用sarama包进行Kafka消息生产的过程，以及如何通过Docker部署Kafka集群采用Kraft模式。首先，我们关注数据的生产部分。

       在部署Kafka集群时，我们将选择Kraft而非Zookeeper，通过docker-compose实现。集群中，理解LISTENERS的含义至关重要，主要有几个类型：

       Sarama在每个topic和partition下，会为数据传输创建独立的goroutine。生产者操作的起点是创建简单生产者的方法，接着维护局部处理器并根据topic创建topicProducer。

       在newBrokerProducer中，run()方法和bridge的匿名函数是关键。它们反映了goroutine间的巧妙桥接，通过channel在不同线程间传递信息，体现了goroutine使用的精髓。

       真正发送消息的过程发生在AsyncProduce方法中，这是数据在三层协程中传输的环节，虽然深度适中，但需要仔细理解。

       sarama的架构清晰，但数据传输的核心操作隐藏在第三层goroutine中。输出变量的使用也有讲究：当output = p.bridge，它作为连接内外协程的桥梁；output = nil则关闭channel，output = bridge时允许写入。