首页 / 帮助文档 / CentOS服务器运维日志轮转配置防止磁盘占满日志

CentOS服务器运维日志轮转配置防止磁盘占满日志

CentOS服务器上最容易被忽略但杀伤力极大的问题之一,就是日志文件悄悄吞掉整个磁盘空间。很多运维都遇到过这样的场景:网站突然无法写入、数据库连接异常、甚至SSH登录都变得卡顿,排查半天才发现根分区使用率已经100%,而罪魁祸首往往是几个月甚至几年没有轮转过的大日志文件。要解决这个问题,不能只靠手动删除,必须建立一套自动化的日志轮转机制,从源头控制日志体积和保留周期。

日志轮转的核心工具是logrotate,CentOS默认已经安装了这个工具,但默认配置只覆盖了一部分系统日志,很多关键服务如Nginx、MySQL、自定义应用日志并没有被纳入有效管理。更麻烦的是,有些程序自己写日志时并不支持reopen信号,即使logrotate轮转了文件,程序仍然会继续往已经重命名的旧文件写入,导致轮转失效。因此配置日志轮转不只是写几行配置文件那么简单,还需要理解文件句柄、信号机制和不同服务的日志行为。

先检查当前磁盘和日志占用情况

在动手配置之前,先要搞清楚是哪些日志在占空间。执行df -h查看根分区使用率,如果已经超过80%,就需要立即定位大文件。用下面的命令找出/var/log目录下最大的几个文件:

du -ah /var/log 2>/dev/null | sort -rh | head -20

这个命令会按大小降序列出前20个文件。很多时候你会发现nginx的access.log、mysql的slow query log或者某个应用自己写的debug日志已经膨胀到几个GB甚至几十GB。如果磁盘已经接近写满,可以先用truncate命令快速清空这些文件,但不要直接rm删除,因为正在写入的程序仍然持有文件句柄,删除后空间不会立即释放,而且程序会继续往一个已经不存在的目录项写入,后续日志全部丢失。正确的应急处理方式是:

truncate -s 0 /var/log/nginx/access.log

truncate会把文件内容清空但保留inode和文件句柄,程序可以继续写入,磁盘空间立即释放。这是应急处理的关键一步,但根本解决方案还是配置logrotate。

logrotate基础配置逻辑

logrotate的主配置文件是/etc/logrotate.conf,它会加载/etc/logrotate.d/目录下的所有配置文件。每个服务的轮转规则就放在这个目录下,文件名通常与服务名对应。一个典型的轮转配置包含几个关键参数:轮转周期、保留份数、压缩方式、轮转后是否重启服务、以及轮转时执行的脚本。

先看一个最基础的Nginx日志轮转配置:

/var/log/nginx/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    create 0640 nginx nginx
    sharedscripts
    postrotate
        if [ -f /var/run/nginx.pid ]; then
            kill -USR1 `cat /var/run/nginx.pid`
        fi
    endscript
}

这个配置的含义是:每天轮转一次,保留14份历史日志,轮转后的旧日志用gzip压缩,但延迟一天压缩以便程序继续写入。missingok表示日志文件不存在时不报错,notifempty表示空文件不轮转。create指定轮转后创建新文件的权限和属主。最关键的是postrotate部分,它向Nginx主进程发送USR1信号,让Nginx重新打开日志文件。如果不发送这个信号,Nginx会继续往旧的日志文件写入,轮转就失去了意义。

不同服务的日志轮转信号处理

每种服务重新打开日志文件的方式不一样,这是日志轮转配置中最容易出错的地方。Nginx使用USR1信号,Apache使用USR1信号配合graceful重启,MySQL的慢查询日志和错误日志则需要执行FLUSH LOGS命令。如果服务不支持信号重开日志,最稳妥的方式是在postrotate中执行服务的reload或者restart命令,但要注意restart可能造成短暂的服务中断。

对于PHP-FPM,它本身不直接写访问日志,但如果配置了slow log或者php error log,轮转后需要发送USR1信号让主进程重新打开日志。对于Redis,日志轮转相对简单,Redis的日志输出通常通过重定向到文件,轮转后需要发送SIGUSR1信号或者直接重启Redis。对于自定义的Java应用、Node.js应用或者Python服务,如果它们自己管理日志文件,轮转时最好的做法是使用copytruncate参数。

copytruncate的工作方式是先复制日志内容到新文件,然后清空原文件,而不是重命名原文件。这样程序不需要重新打开日志文件,因为文件路径没有变化,只是内容被清空了。缺点是复制大文件时会占用额外的磁盘空间和时间,而且在复制过程中可能会有少量日志丢失。对于不支持信号重开日志的程序,copytruncate是最实用的方案。

针对大日志文件的特殊处理策略

有些服务的日志增长速度非常快,比如高并发的Nginx访问日志,一天可能产生几十GB。这种情况下daily轮转已经不够,需要改成hourly甚至更频繁。logrotate默认只支持daily、weekly、monthly,要支持hourly需要额外配置。可以把轮转配置放到/etc/cron.hourly/目录下,或者使用size参数触发轮转。

size参数是控制日志体积的最直接手段。例如:

/var/log/nginx/access.log {
    size 500M
    rotate 5
    compress
    delaycompress
    missingok
    notifempty
    sharedscripts
    postrotate
        if [ -f /var/run/nginx.pid ]; then
            kill -USR1 `cat /var/run/nginx.pid`
        fi
    endscript
}

这个配置表示当access.log达到500MB时立即轮转,不管时间周期如何。对于日志增长速度不稳定的服务,size参数比时间周期更可靠。但要注意,logrotate默认每天只运行一次,如果日志在一天内就超过了500MB,轮转不会立即触发,需要配合更频繁的cron任务。可以把logrotate的执行频率从每天一次改成每小时一次,在/etc/cron.d/目录下创建自定义cron文件:

0 * * * * root /usr/sbin/logrotate /etc/logrotate.conf

这样logrotate每小时执行一次,size参数就能更及时地触发轮转。对于日志增长速度极快的场景,还可以进一步缩短执行间隔,但要注意logrotate本身的开销和锁机制,避免多个logrotate进程同时运行。

压缩策略与磁盘空间平衡

压缩旧日志是节省空间的有效手段,但压缩本身需要CPU资源,而且压缩后的日志在需要排查问题时需要先解压。对于访问日志这种查询频率较高的日志,可以考虑使用delaycompress参数,让最近一份轮转日志保持未压缩状态,方便快速查看。对于历史更久的日志,压缩收益明显,一个几GB的文本日志压缩后通常只有原来的10%到20%。

如果服务器磁盘空间紧张,可以适当减少rotate保留份数。例如从默认的14份减少到7份甚至3份。保留份数越少,历史日志可追溯的时间就越短,需要在磁盘空间和排障需求之间做权衡。对于访问日志,通常保留7天足够应对大多数问题排查。对于错误日志和系统日志,建议保留更长时间,因为这些日志在定位偶发问题时价值更高。

系统日志的轮转配置优化

CentOS的系统日志由rsyslog管理,日志文件位于/var/log/目录下,包括messages、secure、cron等。这些日志的轮转配置在/etc/logrotate.d/syslog文件中。默认配置通常是weekly轮转,保留4份。对于安全要求较高的服务器,secure日志可能需要保留更长时间以便审计。对于日志量大的服务器,messages日志可能需要改成daily轮转。

还有一个容易被忽略的日志是journald日志。CentOS 7及以上版本使用systemd管理服务,journald日志存储在/var/log/journal/目录下,默认情况下journald日志不受logrotate管理,而是由journald自身的配置控制。如果journald日志占用空间过大,需要修改/etc/systemd/journald.conf文件,设置SystemMaxUse和SystemKeepFree参数。例如:

SystemMaxUse=500M
SystemKeepFree=1G

SystemMaxUse限制journald日志最多使用500MB磁盘空间,SystemKeepFree确保系统至少保留1GB可用空间。修改后执行systemctl restart systemd-journald生效。这个配置经常被忽略,但journald日志在某些情况下会迅速膨胀,尤其是服务频繁重启或者系统有大量错误输出时。

自定义应用日志的轮转方案

对于自己开发的应用或者第三方程序,日志轮转需要根据程序写日志的方式来决定。如果程序支持接收信号重新打开日志文件,可以在logrotate配置中使用postrotate发送对应信号。如果程序不支持信号,使用copytruncate参数。如果程序通过标准输出写日志,由systemd或者supervisor管理,那么日志通常被重定向到文件,轮转时可以使用copytruncate或者重启服务。

一个常见的错误是只配置了logrotate轮转,但没有验证轮转是否真正生效。可以通过logrotate的调试模式来测试配置:

logrotate -d /etc/logrotate.conf

-d参数表示调试模式,不会真正执行轮转,但会显示轮转计划。如果要强制立即执行一次轮转,使用-f参数:

logrotate -f /etc/logrotate.conf

执行后检查日志文件是否被正确轮转,旧文件是否被压缩,新文件是否被创建,程序是否继续正常写日志。特别是对于使用信号重开日志的服务,要确认信号发送后程序确实重新打开了日志文件,可以通过lsof命令查看程序持有的文件句柄:

lsof -p `cat /var/run/nginx.pid` | grep log

如果输出显示Nginx仍然持有旧的日志文件句柄,说明信号没有生效,需要检查postrotate脚本中的信号发送逻辑。

监控与告警机制

配置好日志轮转后,还需要建立监控机制,防止轮转失效或者日志异常增长。最简单的方式是在cron中定期检查磁盘使用率,超过阈值时发送告警。可以在/etc/cron.d/目录下创建监控脚本:

*/10 * * * * root /usr/local/bin/check_disk.sh

check_disk.sh脚本内容可以很简单:

#!/bin/bash
USAGE=$(df / | tail -1 | awk '{print $5}' | sed 's/%//')
if [ $USAGE -gt 85 ]; then
    echo "Disk usage on / is ${USAGE}%" | mail -s "Disk Warning" admin@example.com
fi

这个脚本每10分钟检查一次根分区使用率,超过85%时发送邮件告警。对于更完善的监控,可以集成到现有的监控系统中,比如Zabbix、Prometheus或者云监控。关键是要在磁盘写满之前发现问题,而不是等到服务已经不可用时才被动处理。

日志轮转看似简单,但涉及文件句柄、信号机制、服务重启策略和磁盘空间管理等多个层面。一套合理的日志轮转配置应该根据每台服务器的实际日志增长速度、磁盘容量和排障需求来定制,而不是照搬默认配置。定期检查轮转是否生效、日志是否异常增长,才能从根本上避免磁盘被日志占满的问题。