1.反病毒杀手Rootkit解决办法
2.freebsd下jail命令说明
3.如何解决 U盘启动 Lunix 系统死机问题？

反病毒杀手Rootkit解决办法

       在网络安全中经常会遇到rootkit，码安NSA安全和入侵检测术语字典( NSA Glossary of Terms Used in Security and Intrusion Detection)对rootkit的码安定义如下：A hacker security tool that captures passwords and message traffic to and from a computer. A collection of tools that allows a hacker to provide a backdoor into a system, collect information on other systems on the network,mask the fact that the system is compromised, and much more. Rootkit is a classic example of Trojan Horse software. Rootkit is available for a wide range of operating systems.

       好多人有一个误解，他们认为rootkit是码安用作获得系统root访问权限的工具。实际上，码安rootkit是码安攻击者用来隐藏自己的踪迹和保留root访问权限的工具。通常，码安口红溯源码攻击者通过远程攻击获得root访问权限，码安或者首先密码猜测或者密码强制破译的码安方式获得系统的访问权限。进入系统后，码安如果他还没有获得root权限，码安再通过某些安全漏洞获得系统的码安root权限。接着，码安攻击者会在侵入的码安主机中安装rootkit，然后他将经常通过rootkit的码安后门检查系统是否有其他的用户登录，如果只有自己，码安攻击者就开始着手清理日志中的有关信息。通过rootkit的嗅探器获得其它系统的用户和密码之后，攻击者就会利用这些信息侵入其它的系统。

       什么是rootkit

       Rootkit出现于二十世纪年代初，在年2月的一篇安全咨询报告中首先使用了rootkit这个名词。这篇安全咨询就是CERT-CC的CA--，题目是Ongoing Network Monitoring Attacks，最新的修订时间是年9月日。从出现至今，rootkit的技术发展非常迅速，应用越来越广泛，检测难度也越来越大。其中针对SunOS和Linux两种操作系统的rootkit最多(树大招风:P)。所有的rootkit基本上都是由几个独立的程序组成的，一个典型rootkit包括：

       以太网嗅探器程程序，用于获得网络上传输的用户名和密码等信息。

       特洛伊木马程序，例如：inetd或者login，为攻击者提供后门。

       隐藏攻击者的目录和进程的程序，例如：ps、netstat、rshd和ls等。

       可能还包括一些日志清理工具，例如：zap、zap2或者z2，攻击者使用这些清理工具删除wtmp、utmp和lastlog等日志文件中有关自己行踪的条目。

       一些复杂的rootkit还可以向攻击者提供telnet、shell和finger等服务。

       还包括一些用来清理/var/log和/var/adm目录中其它文件的一些脚本。

       攻击者使用rootkit中的相关程序替代系统原来的ps、ls、netstat和df等程序，使系统管理员无法通过这些工具发现自己的踪迹。接着使用日志清理工具清理系统日志，消除自己的踪迹。然后，攻击者会经常地通过安装的后门进入系统查看嗅探器的日志，以发起其它的攻击。如果攻击者能够正确地安装rootkit并合理地清理了日志文件，互联分销源码系统管理员就会很难察觉系统已经被侵入，直到某一天其它系统的管理员和他联系或者嗅探器的日志把磁盘全部填满，他才会察觉已经大祸临头了。但是，大多数攻击者在清理系统日志时不是非常小心或者干脆把系统日志全部删除了事，警觉的系统管理员可以根据这些异常情况判断出系统被侵入。不过，在系统恢复和清理过程中，大多数常用的命令例如ps、df和ls已经不可信了。许多rootkit中有一个叫做FIX的程序，在安装rootkit之前，攻击者可以首先使用这个程序做一个系统二进制代码的快照，然后再安装替代程序。FIX能够根据原来的程序伪造替代程序的三个时间戳(atime、 ctime、mtime)、date、permission、所属用户和所属用户组。如果攻击者能够准确地使用这些优秀的应用程序，并且在安装rootkit时行为谨慎，就会让系统管理员很难发现。

       LINUX ROOTKIT IV

       前面说过，大部分rootkit是针对Linux和SunOS的，下面我们介绍一个非常典型的针对Linux系统的rootkit--Linux Rootkit IV。Linux Rootkit IV是一个开放源码的rootkit，是Lord Somer编写的，于年月发布。不过，它不是第一个Linux Rootkit，在它之前有lrk、lnrk、lrk2和lrk3等Linux Rootkit。这些rootkit包括常用的rootkit组件，例如嗅探器、日志编辑/删除工具、和后门程序的。

       经过这么多年的发展，Linux Rootkit IV功能变的越来越完善，具有的特征也越来越多。不过，虽然它的代码非常庞大，却非常易于安装和使用，只要执行make install就可以成功安装。如果你还要安装一个shadow工具，只要执行make shadow install就可以了。注意：Linux Rootkit IV只能用于Linux 2.x的内核。下面我们简单地介绍一下Linux Rootkit IV包含的各种工具，详细的介绍请参考其发布包的README文件。

       隐藏入侵者行踪的程序

       为了隐藏入侵者的行踪，Linux Rootkit IV的作者可谓煞费心机，编写了许多系统命令的替代程序，使用这些程序代替原由的系统命令，来隐藏入侵者的源码泄露修复行踪。这些程序包括：

       ls、find、du

       这些程序会阻止显示入侵者的文件以及计算入侵者文件占用的空间。在编译之前，入侵者可以通过ROOTKIT_FILES_FILE设置自己的文件所处的位置，默认是/dev/ptyr。注意如果在编译时使用了SHOWFLAG选项，就可以使用ls -/命令列出所有的文件。这几个程序还能够自动隐藏所有名字为：ptyr、hack.dir和W4r3z的文件。

       ps、top、pidof

       这几个程序用来隐藏所有和入侵者相关的进程。

       netstat

       隐藏出/入指定IP地址或者端口的网络数据流量。

       killall

       不会杀死被入侵者隐藏的进程。

       ifconfig

       如果入侵者启动了嗅探器，这个程序就阻止PROMISC标记的显示，使系统管理员难以发现网络接口已经处于混杂模式下。

       crontab

       隐藏有关攻击者的crontab条目。

       tcpd

       阻止向日志中记录某些连接

       syslogd

       过滤掉日志中的某些连接信息

       木马程序

       为本地用户提供后门，包括：

       chfn

       提升本地普通用户权限的程序。运行chfn，在它提示输入新的用户名时，如果用户输入rookit密码，他的权限就被提升为root。默认的rootkit密码是satori。

       chsh

       也是一个提升本地用户权限的程序。运行chsh，在它提示输入新的shell时，如果用户输入rootkit密码，他的权限就被提升为root。

       passwd

       和上面两个程序的作用相同。在提示你输入新密码时，如果输入rookit密码，权限就可以变成root。

       login

       允许使用任何帐户通过rootkit密码登录。如果使用root帐户登录被拒绝，可以尝试一下rewt。当使用后门时，这个程序还能够禁止记录命令的历史记录。

       木马网络监控程序

       这些程序为远程用户提供后门，可以向远程用户提供inetd、rsh、ssh等服务，具体因版本而异。随着版本的升级，Linux Rootkit IV的功能也越来越强大，特征也越来越丰富。一般包括如下网络服务程序：

       inetd

       特洛伊inetd程序，为攻击者提供远程访问服务。

       rshd

       为攻击者提供远程shell服务。攻击者使用rsh -l rootkitpassword host command命令就可以启动一个远程root shell。

       sshd

       为攻击者提供ssh服务的后门程序。

       工具程序

       所有不属于以上类型的程序都可以归如这个类型，它们实现一些诸如：日志清理、源码录制 少妇报文嗅探以及远程shell的端口绑定等功能，包括：

       fix

       文件属性伪造程序

       linsniffer

       报文嗅探器程序。

       sniffchk

       一个简单的bash shell脚本，检查系统中是否正有一个嗅探器在运行。

       wted

       wtmp/utmp日志编辑程序。你可以使用这个工具编辑所有wtmp或者utmp类型的文件。

       z2

       utmp/wtmp/lastlog日志清理工具。可以删除utmp/wtmp/lastlog日志文件中有关某个用户名的所有条目。不过，如果用于Linux系统需要手工修改其源代码，设置日志文件的位置。

       bindshell

       在某个端口上绑定shell服务，默认端口是。为远程攻击者提供shell服务。

       如何发现rootkit

       很显然，只有使你的网络非常安装让攻击者无隙可乘，才能是自己的网络免受rootkit的影响。不过，恐怕没有人能够提供这个保证，但是在日常的网络管理维护中保持一些良好的习惯，能够在一定程度上减小由rootkit造成的损失，并及时发现rootkit的存在。

       首先，不要在网络上使用明文传输密码，或者使用一次性密码。这样，即使你的系统已经被安装了rootkit，攻击者也无法通过网络监听，获得更多用户名和密码，从而避免入侵的蔓延。

       使用Tripwire和aide等检测工具能够及时地帮助你发现攻击者的入侵，它们能够很好地提供系统完整性的检查。这类工具不同于其它的入侵检测工具，它们不是通过所谓的攻击特征码来检测入侵行为，而是监视和检查系统发生的变化。Tripwire首先使用特定的特征码函数为需要监视的系统文件和目录建立一个特征数据库，所谓特征码函数就是使用任意的文件作为输入，产生一个固定大小的数据(特征码)的函数。入侵者如果对文件进行了修改，即使文件大小不变，也会破坏文件的特征码。利用这个数据库，Tripwire可以很容易地发现系统的变化。而且文件的特征码几乎是不可能伪造的，系统的任何变化都逃不过 Tripwire的监视(当然，前提是你已经针对自己的系统做了准确的配置:P，关于Tripwire和aide的使用请参考本站的相关文章)。最后，需要能够把这个特征码数据库放到安全的地方。

       前一段时间，写了几篇rootkit分析文章，这篇权且作为这一系列文章的总结，到此为止。但是在最近发布的Phrack-0x(Linux on-the-fly kernel patching without LKM)中实现一个直接修改内核数据结构的rootkit，因此决定写一个续篇。表白源码hph:P

freebsd下jail命令说明

       Jail 命令在FreeBSD 4.0中首次出现。用于“监禁”进程以及其衍生的子进程。而且jail和FreeBSD本身的secure_level合并使用可以显著限制（jail中的）root的能力。

       假设某一个应用程序在系统内中运行，一段时间之后该应用程序被发现包含有致命的安全漏洞，如果在通常的系统中，这个应用程序可能已经在这个上面构成了漏洞，甚至cracker们已经成功地攻破这一应用并且成为root，控制了系统；但假如该应用程序放在jail内运行，即使cracker们已经攻破系统，也无法访问到jail之外系统的其他部分。因为尽管应用程序可以在jail之中自由活动，但是无法获得更多权限以及访问在jail之外的任何资源。通过这一特性，在系统管理上面可以做到防范未知漏洞，避免这些潜在的漏洞对整个系统的安全构成威胁。

       jail通常有两类应用方向：

       一、对应用程序的活动能力进行限制。

       比如ftp服务器，DNS服务器，这样一些东西，比如wu-ftpd,bind这样一些隔三岔五就会爆出漏洞的“著名”软件放到jail里面会让人更加放心。

       二、受控制的主机。

       某些时候，需要对外提供有shell的管理性访问，比如作为某公司A，其合作单位B有某项目需要在A的机器上获得shell乃至root权限，这就需要提供受控制的主机，用户可以在jail里面控制几乎所有他需要的资源（除了jail不允许他访问的部分）。

       第一类应用并不是非常复杂，实际上这类应用实现方法相对简单，只要在Linux下面玩过chroot就没有什么大问题；第二类应用则有很多有趣的特性，而jail最吸引人的部分也是这些很有趣的特性。

       下面从最简单的部分开始：

       第一类：限制应用程序活动能力

       首先按照通常习惯的方式安装好你想要jail的应用程序，下面我们将会使用pure-ftpd（我不是很熟悉它，只不过顺手拿过来而已，据说还算好用）作为例子。

       这个ftpd的安装位置，默认为：/usr/local/sbin;/usr/local/bin;在/etc下面还有一些相关的文件，整个结构感觉不是特别干净，不过它运行需要的东西并不很多，包括 /usr/local/sbin/pure-ftpd , /etc/xxx /etc/xxxx 这样一些文件。

       接下来先用ldd看看/usr/local/sbin/pure-ftpd需要的那些运行库：

       tester# cd /usr/local/sbin

       tester# ldd pure-ftpd

       pure-ftpd:

       libcrypt.so.2 = /usr/lib/libcrypt.so.2 (0xb)

       libpam.so.1 = /usr/lib/libpam.so.1 (0x)

       libc.so.4 = /usr/lib/libc.so.4 (0xd)

       这样我们的工作任务清单上面就多出来这样一些东西了： /usr/lib/......

       使用ldd我们还可以获得其他一些需要放入jail的程序的运行库位置，信息搜集完成之后，我们开始建立jail目录树（这里我们假定jail环境构造在/jail内，当然你也可以选择你喜欢的位置）：

       tester# mkdir -p /jail/usr/{ lib,libexec,local/sbin,local/bin,local/etc,etc,var/run,var/log}

       然后将上面列出的，libcrypt.so.2 等这些文件都复制到对应位置。当然还有我们FreeBSD下非常重要的一个文件ld-elf.so.1，尽管ldd没有给出提示，也还需要复制过去，否则应用程序也跑不起来。这样我们就获得了一个很干净（最小化）的应用程序运行环境jail命令的格式是：

       jail path hostname ip-number command

       下面开始在jail里面运行它：

       tester# jail /jail jailed.host.name $JAILED_IP_ADDR /usr/local/sbin/pure-ftpd [options]

       这里，/jail是你的jail环境的位置，也就是被jail之后，应用程序“以为”自己所在的“/”的位置；jailed.host.name是你打算提供给这个jail环境的主机名，某些情况下，应用程序需要知道这个变量；$JAILED_IP_ADDR是你打算提供ftp服务（如果是其他应用软件，那就是其他服务咯，比如web服务）的那个IP地址，至于/usr/local/sbin/pure-ftpd [options] 则是你打算运行的那个应用程序在jail里面的所在位置以及运行所需的参数。

       然后用ps 查看一下进程状态：

       tester# ps -axf |grep pureftpd

        ? IsJ 0:. pure-ftpd (SERVER) (pure-ftpd)

       可以看到所有这些pure-ftpd的进程都有一个J，标志这这一程序正在jail下面运行。

       这时候可能会有一些管理用的程序无法正常工作，因为这些管理用程序无法找到他们需要访问的那些文件，只要找到这些应用程序需要调用的文件（比如日志文件）的位置，然后制造一个soft link就可以了，通常这些管理程序都可以继续正常运行。

       到此为止，一个针对应用程序的jail构造完成。

       第二类，构造受控制的主机

       在这种情况下面，我们首先需要构造一个当前版本操作系统的完整镜像（下面这个脚本是从FreeBSD 4.6r的man page里面来的，实际上4.5以及之前的man page在构造jail目录树脚本上面都有一定的问题，4.6才纠正过来）：

       tester# cat /root/mkjail.sh

       jailhome=/data/jail

       cd /usr/src

       mkdir -p $jailhome

       make world DESTDIR=$jailhome

       cd etc

       make distribution DESTDIR=$jailhome -DNO_MAKEDEV_RUN

       cd $jailhome/dev

       sh MAKEDEV jail

       cd $jailhome

       ln -sf dev/null kernel

       ^D

       tester# sh /root/mkjail.sh

       最后在/data/jail下面获得一个完整的根据当前源码树编译得来的jail目录树。

       接下来：

       /

       tester# mkdir $jailhome/stand

       tester# cp /stand/sysinstall $jailhome/stand

       tester# jail $jailhome jailed.system.box ..0. /bin/csh

       （这时候就获得了一个jail下面的shell）

       jailed# /stand/sysinstall

       */

       通过sysinstall这个程序可以对jail系统的常用变量进行设置，比如时区，DNS，Mail。还有jail系统在“启动”的时候需要执行的程序。

       如果你足够熟悉这个系统，可以考虑自己手工一个个的做过来。

       复制/etc/localtime 到 $jailhome/etc，使jail环境下的应用程序可以得到正确的时间；

       复制/etc/resolv.conf 到 $jailhome/etc/resolv.conf 使jail下面可以正确解释域名；

       在jail里面运行newaliases 避免sendmail的不断抱怨；

       如果打算运行inetd，需要修改inetd的启动参数，加上 -a $LISTEN_ADDR 选项（因为jail无法自己获得当前系统的ip地址，所以必须提供一个ip地址给它）在rc.conf里面看起来应该是这样：

       inetd_flags="-wW -a ..0."

       将系统本身的syslogd 运行加上 -ss 选项，避免这个syslog启动****端口；修改/etc/rc.conf 加上 syslogd_flags="-ss" （对$jailhome/etc/rc.conf也如法炮制）

       在jail内创建一个空的/etc/fstab，在rc.conf里面去掉网卡地址的绑定，这样在jail系统在启动的时候不会抱怨。

       为了实际运行这个jail系统，还需要为jail提供一个可以连接的IP地址，这个地址可以与实际环境同一个子网，也可以处于另外一个子网中。

       tester# ifconfig fxp0 ..0. netmask 0xffffffff alias

       （这里为网卡fxp0绑定了一个别名，准备提供服务。）

       所有这些东西都执行完了以后，可以有几个方法把jail系统启动起来，一个是在jail外面运行

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/sh $jailhome/etc/rc

       一个是单纯把ssh/telnetd这样一些提供远程访问的服务在jail内启动起来：

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/sh $jailhome/bin/inetd -wW -a $jail_IP_ADDR

       然后从外面登录系统，运行、配置jail系统环境，或者手工启动需要的应用服务。

       如果打算运行一个用于生产环境的jail系统的话，推荐使用第一种方法，并且把启动jail的命令放到（实际环境的）/etc/rc.local脚本里面去，这样jail系统可以有比较完备，与实际机器相类似的环境。

       这样一个jail系统就算构造完成并且可以正常运作，加上在实际环境里面定期的严格的备份，安全检查与审计，就可以得到一个很不错的安全系统。一般的scriptkids已经无法对你的系统构成实际威胁，即使是某些与黑帽子走得很近的人在漏洞公开之前得到实际的攻击脚本，并且进入你的系统，他也只能在jail里面活动，而且你可以知道他什么时候进入和离开系统，做了什么。这样你可以很轻松的恢复系统和防范下一次未知的攻击。

       在jail系统的管理上面有几个问题需要注意：

       1. jail里面的帐号、密码是跟实际系统不同的，但是在jail之外ps或者查看jail目录树内的文件时，那些jail内部的uid会被看成外部的uid，因此最好把jail里面的/etc/adduser.conf进行修改，把他们的uid起始号码放大，比如：uid_start=""，这样当你在jail外部进行文件、进程管理的时候不至于误会文件或者进程的宿主。

       2. jail内的任何活动，其能力都受到了限制。比如top/vmstat这样的东西都不能使用，mknod,dd等等这样需要访问直接硬件的东西也无法工作。所以在jail内监控系统运行状态也比较难。

       3. 当想要远程关闭jail系统的时候，可以有两种方法，一是进入jail之后kill -TERM -1 或者 kill -KILL -1 ，这样向所有该jail内的进程发送SIGTERM或者SIGKILL信号，也可以在jail里面运行/etc/rc.shutdown来关闭jail。如果是本地想要关闭jail倒是简单，只要把所有带有J标记的进程干掉就可以了。

       4. 一个系统可以运行多个jail，各个jail之间无法互相干涉，如果在jail外面使用

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /path/to/application

       这种方式运行某个应用程序，下一次试图通过运行

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/csh

       这种方式获得的jail过的shell来管理该应用程序将会失败。因为这时是两个各自独立的jail，互相不能干涉。为了能对jail系统内进程灵活地进行管理，推荐在jail里面除开应用软件之外，再启动telnetd或者sshd之类的服务，这些服务此时与应用程序运行在同一个jail里面，就可以通过远程登入系统后获得与那些应用程序在同一个jail内的shell。

       5. jail系统内的所有应用软件版本号应该与外部实际系统保持一致。当外部系统的源码同步到某个版本并且重新做过make world之后，推荐也重新生成一次jail，以避免某些可能的莫名其妙的错误。

       6. 另外有一个做法不知道是否正确，在jail里面每次使用ps的时候，系统都会报告没有/var/run/dev.db文件，让人感觉很不舒服，复制实际系统的/var/run/dev.db 到 $jailhome/var/run/ ，就不会再碰到这个问题。

如何解决 U盘启动 Lunix 系统死机问题？

       故障排除 Linux操作系统死机处理方法总结

       Linux 有多种机制来保证发生系统崩溃后，可以获取有价值的信息用以分析问题。确定是硬件故障，还是应用程序bug 导致的。

       Linux 中，有如下几种方法来获取各种崩溃时产生的信息。

       1.Core dump

       Core dump 通常用来调试应用程序错误，当某些应用程序运行出现异常崩溃时，可以开启系统的 core dump 功能，来得到一个程序崩溃时的内存信息，用来分析崩溃原因：

       在/etc/profile里加上(或者修改)一条：

       ulimit -c 0

       运行命令：sysctl -w "kernel.core_name_format=/coredump/%n.core"

       该命令意思是指core文件放在/coredump目录下，文件名是进程名+.core

       2.Diskdump

       diskdump工具提供了在单机上创建和采集vmcore(kernel dump)的能力，而无须使用网络。当内核本身出现崩溃的时候，当前的内存和CPU状态以及相关的信息都会被保存到一个支持diskdump的磁盘上的保留分区上。在下一次重新启动的时候，当系统重新启动，diskdump的初始化脚本会从保留分区中读取保存的信息并创建一个vcore文件,然后这个文件被再次存放到/var/crash/目录下，文件名为.0.0.1-

       如下是一个配置 HP SCSI 设备上启用 diskdump 的过程，如果不是 HP SCSI 设备(即设备名为 /dev/sdX的形式)，则无须执行第三、四两个步骤。但需要在第一步前先执行命令： modprobe

       diskdump

       第一步：编辑 /etc/sysconfig/diskdump文件，将一个空白分区的设备名填入后保存退出，例如：

       DEVICE=/dev/cciss/c0d0p2

       第二步：初使化 dump 设备

       #service diskdump initialformat

       警告：该分区的所以数据会丢失。

       第三步：使用 cciss_dump 模块替换当前的 cciss 模块：

       在 /etc/modprobe.conf 找到如下行：

       alias scsi_hostadapter cciss

       修改为：

       alias scsi_hostadapter cciss_dump

       再增加一行：

       options cciss_dump dump_drive=1

       注：假设diskdump文件中配置的为 /dev/cciss/c0d[#a]p[#b], 请设置为： options cciss_dump dump_drive=[#a]

       第四步：重建 initrd 文件：

       #mv /boot/initrd-`uname -r`.img /boot/initrd-`uname -r`.img.old

       #mkinitrd /boot/initrd-`uname -r`.img `uname -r`

       第五步：设置 diskdump 服务能够开机自启动：

       # chkconfig diskdump on

       3.Netdump

       如果使用红旗DC4.0 或 3.0 版本系统，是不能支持 diskdump 的，可以利用netdump 来达到输出vmcore 的目的。但是Netdump要求至少有一个服务器以及任意数目的客户端。服务器用来接收客户端死机时的信息，客户端是经常死机的机器。　

       （一）服务器配置:

       (1).检验netdump服务器是否安装完毕:

       rpm -q netdump-server

       如果未安装,请在光盘 RedFlag/RPMS/ 目录中找到 netdump-server 打头的软件包，执行命令:

       rpm -ivh netdump-server-x.x.x.rpm (x为版本号)

       进行安装。

       (2).服务器包安装后,用命令:

       passwd netdump

       更改用户的密码.

       (3).打开服务:

       chkconfig netdump-server on

       (4).运行服务器:

       service netdump-server start

       （二）客户端配置:

       (1).校验客户端是否已安装

       rpm -q netdump

       如果未安装，在光盘 RedFlag/RPMS/ 目录中找到 netdum 打头的软件包，执行命令:

       rpm -ivh netdump-x.x.x.rpm (x为版本号)

       安装.

       (2).编辑文件/etc/sysconfig/netdump，添加如下行:

       DEV=eth0

       NETDUMPADDR=...

       NETDUMPMACADDR=:0C:::F4:E0

       ...指 netdump 服务器地址。

       (3).运行下面的命令，出现提示符时输入密码:

       service netdump propagate

       (4).打开客户端:

       chkconfig netdump on

       (5).运行客户端:

       service netdump start

       (6).测试

       为了测试netdump的配置是否正确，在netdump客户机上做下面操作：

       cp /usr/share/doc/netdump-xxxxxx/crash.c .

       gcc -DKERNEL -DMODULE -I/lib/modules/$(uname -r)/build/include -c crash.c

       insmod ./crash.o

       这会造成系统崩溃，你会在netdump服务器的/var/crash/<客户端IP>/目录下，看到一个核心转储。当客户机正在转储数据到服务器的时候，你会看到一个名叫“vmcore-incomplete"的文件。当转储结束后，该文件会改名成 "vmcore"。"vmcore"文件的大小会变化，可能达到几个GB.在一个内存是M的系统上，上面的测试会产生大约M的vmcore文件。

       怎么判断网卡是否支持netdump功能？

       内核调试工具netdump需要网卡驱动支持netpoll功能。netpoll的目的是让内核在网络和I/O子系统尚不能完整可用时，依然能发送和接收数据包。主要用于网络控制台（net console）和远程内核调试（KGDBoE）中。实现netpoll功能，主要是要实现kernel中的poll_controller函数，该函数定义：void (*poll_controller)(struct net_device *dev)。该函数的作用是在缺少设备中断的情况下，还能对控制器做出响应。几乎所有的poll_controller函数都定义成如下形式：

       void my_poll_controller(struct net_device *dev) {

       disable_device_interrupt(dev);

       call_interrupt_handler(dev->irq, dev);

       enable_device_interrupt(dev);

       }

       所以，poll_controller只是模拟了来自指定设备的中断。一个最简单的判断一个网卡驱动是否这次支持netpoll功能的方法是安装内核源代码，然后在代码树 /usr/src/kernel-＜version＞中搜索HAVE_POLL_CONTROLLER的定义, grep -r "HAVE_POLL_CONTROLLER" /usr/src/linux-＜version＞/drivers/net示例如下：

       # grep -r "HAVE_POLL_CONTROLLER" /usr/src/linux-2.4/drivers/net

       /usr/src/linux-2.4/drivers/net/3cx.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/3cx.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/e/e_main.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/e/e_main.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/e/e_main.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/e/e_main.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/e/e_main.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/eepro.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/eepro.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/pcnet.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/pcnet.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tg3.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tg3.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tlan.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tlan.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tulip/tulip_core.c:#ifdef HAVE_POLL_CONTROLLER

       /usr/src/linux-2.4/drivers/net/tulip/tulip_core.c:#ifdef HAVE_POLL_CONTROLLER

       从输出可以看到，3cx, e, e, eepro, pcnet, tg3, tlan和tulip都支持netpoll。

       如果系统使用了这些网卡，那么系统应该支持netpoll，那么就支持netdump。

       如果希望进一步确认网卡是否是使用这些网卡，可以查看/etc/modules.conf:

       # cat /etc/modules.conf

       alias eth1 e

       alias eth0 3cx

       4.SysRq

       SysRq组合键是一组"魔术组合键"，只要内核没有被完全锁住，键盘还能够使用，不管内核在做什么事情，使用这些组合键可以立即打印出内核的信息。

       使用sysrq组合键是了解系统目前运行情况的最好方式。如果系统出现挂起的情况或者在诊断一些和内核相关，比较怪异，比较难重现的问题的时候，使用sysrq键是一个比较好的方式。

       为了安全起见，默认SysRq组合键是关闭的。

       打开这个功能，运行:

       # echo 1 > /proc/sys/kernel/sysrq

       关闭这个功能:

       # echo 0 > /proc/sys/kernel/sysrq

       如果想让此功能一直生效，在/etc/sysctl.conf里面设置kernel.sysrq的值为1. 重新启动以后，此功能将会自动打开。

       kernel.sysrq = 1

       因为打开sysrq键的功能以后，有终端访问权限的用户将会拥有一些特殊的功能。因此，除非是要调试，解决问题，一般情况下，不要打开此功能。如果一定要打开，请确保您的终端访问的安全性。

       如何触发一个sysrq事件?

       有几种方式可以触发sysrq事件。在带有AT键盘的一般系统上，在终端上输入一下组合键:

       Alt+PrintScreen+[CommandKey]

       例如，要让内核导出内存信息(CommandKey "m")，您应该同时按下Alt 和 Print Screen 键，然后按下 m 键. 提示: 此组合键在Xwindows上是无法使用的。所以，您先要切换到文本虚拟终端下。如果您现在是在图形界面，可以按Ctrl+Alt+F1切换到虚拟终端。

       当我触发一个sysrq事件的时候，结果保存在什么地方?

       当一个sysrq命令被触发，内核将会打印信息到内核的环形缓冲并输出到系统控制台。此信息一般也会通过syslog输出到/var/log/messages.

       有时候，可能系统已经无法响应，syslogd可能无法记录此信息。在这种情况下，建议您配置一个串口终端来收集这个信息。

       那些类型的sysrq事件可以被触发?

       sysrq功能被打开后，有几种sysrq事件可以被触发。不同的内核版本可能会有些不同。但有一些是共用的:

       * m - 导出关于内存分配的信息

       * t - 导出线程状态信息

       * p - 到处当前CPU寄存器信息和标志位的信息

       * c - 故意让系统崩溃(在使用netdump或者diskdump的时候有用)

       * s - 立即同步所有挂载的文件系统

       * u - 立即重新挂载所有的文件系统为只读

       * b - 立即重新启动系统

       * o - 立即关机(如果机器配置并支持此项功能)

       故障分析

       虽然我们可以通过上述的几种方法来获取应用程序或操作系统崩溃时的各种信息，但是分析这些问题有一定难度。

       常见问题

       软件相关

       系统平时运行一切正常，自从新实施了一项应用后，频繁发生崩溃现象，此类问题多数与应用程序Bug有关，不一定在所有相同配置系统中都会产生，但是一旦触发该Bug，就有可能发生崩溃。

       系统平时运行一切正常，自从新实施了一项应用后，频繁发生崩溃现象，也有一些情况是新增的应用需要做一定的操作系统配置，没有设置的话，也有可能出现资源利用问题，导致崩溃发生。

       系统平时运行一切正常，自从新实施了一项应用后，频繁发生崩溃现象，也有一些情况是应用的版本与操作系统版本不匹配，应用软件所需的系统库文件版本不对应，容易引发应用程序崩溃。

       系统平时运行正常，近期没有任何新增应用，也没有更改系统配置，却接连发生多次崩溃现象。此类问题多数是压力增大，超出了硬件所能承受的负载，耗尽资源，发生崩溃。

       系统平时运行正常，近期无新增应用，系统负载也不高，却发生崩溃现象。不排除操作系统本身的问题，有可能某种操作诱发了一个系统Bug，发生崩溃。

       硬件相关

       新增内存后，系统经常发生崩溃现象，此类问题有可能是位机器配置了超过GB的内存，但没有使用 hugemem 核心导致，具体原因可参见第一节中的说明。

       机器使用期限较长，某个硬件发生故障，也会导致系统崩溃的发生。

       新配置的机器经常发生崩溃现象，有可能硬件较新，而驱动程序版本较低，一般可通过升级驱动解决，驱动一般集成在内核当中，常见的办法是升级内核版本。