1.Linux性能观测之dstat命令详解
2.由Docker BUG引起的源码Linux宕机事故及解决办法
Linux性能观测之dstat命令详解
dstat是一个强大的系统信息统计工具,集成了vmstat、源码iostat、源码netstat、源码nfsstat和ifstat的源码功能,能够全面观测Linux性能。源码发卡网源码源码 要深入理解dstat,源码首先回顾其安装方式。源码请按照以下步骤操作:1. 打开终端。源码
2. 使用命令 `sudo apt-get install dstat` 在Debian/Ubuntu系统上安装dstat,源码或使用 `yum install dstat` 在CentOS/RHEL系统上安装。源码
3. 若遇到问题,源码可以参考社区资源或官方文档寻求解决方案。源码
dstat的源码使用简单高效。它能以图形或文本形式提供系统性能指标,源码如CPU使用率、磁盘IO、网络I/O、分页活动和系统统计。以下是常用命令形式:
- `total-cpu-usage`:查看CPU的总体使用情况。
- `dsk/total`:展示磁盘IO的指标源码超级波段总情况。
- `net/total`:显示网络I/O的总览。
- `paging`:监测系统的分页活动。
- `system`:收集系统统计信息。
若需查阅更多dstat的英文说明或功能细节,可参考以下资源:
- Linux manpage dstat
此外,了解如何优化Linux性能和排查内存泄漏问题同样重要。我们整理了一些学习资料和书籍,欢迎加入我们的Linux内核源码交流群。前名加入的成员将获得免费的内核资料包,包含视频教程、音乐悬浮窗源码电子书、实战项目及代码。加入时请使用真实信息,我们期待与您分享知识和经验。
学习Linux内核源码的路径包括:内核源码解析、内存调优、文件系统、进程管理、设备驱动、网络协议栈等。西安直播系统源码由Docker BUG引起的Linux宕机事故及解决办法
1背景
某运营商业务系统的服务器发生宕机,针对本次宕机事故进行排查。
文章福利小编推荐自己的Linux内核源码交流群: 整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面,有需要的可以自行添加哦!!!前名可进群领取,并额外赠送一份价值的内核资料包(含视频教程、电子书、源码编码方法实战项目及代码)!
学习直通车: Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈
2解决过程
我们都知道kdump是在Linux系统崩溃、死锁、死机的时候用来转储内存运行参数的服务。系统崩溃后内核无法正常工作,这时kdump会产生一个用于capture当前运行信息的内核,将此时的内存中的所有运行状态和数据信息收集到vmcore文件中,收集完成后系统将自动重启。本次使用crash分析linux kdump日志。
进入crash控制台
PANIC为内核崩溃类型,这里是一个BUG,内核无法处理空指针
在crash查看log,发现有很多Out-of-Memory
通过bt查看系统崩溃前内核依次调用的一系列函数,查看内核在何处崩溃。以"# 数字"开头的行为调用堆栈:
通过bt分析,可以定位到崩溃前的一个exception是ip寄存器RIP的异常,使用dis命令来看一下该地址的反汇编结果:
从上面的反汇编结果中,我们看到问题出在ip6mr.c文件行代码,翻开linux源码的相应位置:
撸内核源码 + Google
通过走读Linux源码和Google,发现当系统创建新的namespaces时,会因为ip6mr_sk_done的值为空而引起系统混乱,从而导致内核无法正常分配内存,所以我们在log文件中看到了许多Out-of-Memory。
在Kubernetes环境,提到namespaces就能想到docker,因为namespaces是docker的核心技术之一,容器的资源隔离由namespace来实现。
通过检查docker的网络,发现其中一个子网为空
解决办法
内核配置加入"net.ipv6.conf.all.disable_ipv6 = 1",关闭 IPV6,防止触发 docker BUG;
从内核的层面看,目前该Issue仍然没有close。在开启IPv6的环境,docker为什么会出现这个BUG,后续有空再研究,欢迎大家指正。
3END
Linux 内核虽然号称“不死族”,几乎不会崩溃或死机,但也有特殊情况,设备也有一定的使用周期,系统的高可用还是要的。
虽然你单点运行服务时很帅,但是你处理故障时的样子真的很狼狈。
往期精彩推荐:
最新干货!使用eBPF LSM热修复Linux内核漏洞
盘点那些Linux内核调试手段——内核打印
Linux 环境下网络分析和抓包是怎么操作的?
浅谈ARMLinux内核页表的块映射
Linux性能观测之dstat命令详解