如何安全清理UXDB WAL日志？

一、当前方案的潜在风险

1. archive_command 的可靠性问题

• 若归档目标磁盘满或权限错误，cp 命令失败会导致 WAL 堆积在 ux_wal 目录。

• 改进方案：改用容错性更高的命令，并添加监控：

archive_command = 'test -f /wal_archive/%f || cp %p /wal_archive/%f && touch /wal_archive/%f.done'

通过 .done 文件标记成功归档，便于排查问题。

2. archive_cleanup_command 的严格依赖

• %r 参数依赖 restart_lsn，若复制槽或备份滞后，可能导致误删仍需的 WAL。

• 必须配合检查：

SELECT slot_name, restart_lsn FROM ux_replication_slots;
SELECT ux_current_wal_lsn(), ux_last_wal_receive_lsn();

3. 缺乏空间不足的应急机制

• 当 WAL 暴涨时，需手动干预，无法自动降级处理。

二、完全自动化无副作用的方案

1. 基础配置优化

# uxdbql.conf
archive_mode = on
archive_command = 'rsync -a %p /wal_archive/%f && sync'  # rsync 更可靠
archive_cleanup_command = 'ux_archivecleanup -d /wal_archive %r 2>>/var/log/ux_cleanup.log'
wal_keep_size = 1GB  # 额外保留的 WAL 量（安全缓冲）

2. 增加守护脚本（cron 或 systemd）

#!/bin/bash
# 检查归档目录剩余空间，低于10%时触发紧急清理
WAL_DIR="/wal_archive"
THRESHOLD=90
USAGE=$(df -h $WAL_DIR | awk 'NR==2 {print $5}' | tr -d '%')

if [ $USAGE -ge $THRESHOLD ]; then
    # 找出最旧的归档文件（确保至少保留最近3天）
    OLDEST_WAL=$(ls -t $WAL_DIR/0000* | tail -n 1)
    ux_archivecleanup -d $WAL_DIR $(basename $OLDEST_WAL)
    logger "Emergency WAL cleanup triggered for $OLDEST_WAL"
fi

设置每日检查：

chmod +x /usr/local/bin/ux_wal_cleaner.sh
echo "0 2 * * * /usr/local/bin/ux_wal_cleaner.sh" | sudo tee -a /etc/crontab

3. 集成备份验证

在备份脚本中增加 WAL 清理逻辑：

ux_basebackup -D /backups/pg -Ft -Xs -P
if [ $? -eq 0 ]; then
    # 备份成功后清理早于本次备份的 WAL
    ux_archivecleanup /wal_archive $(cat /backups/pg/backup_label | grep "START WAL")
fi

三、无副作用的保障措施

1. 双重锁定机制

• 使用 flock 防止并发清理冲突：

archive_cleanup_command = 'flock -n /tmp/wal_cleanup.lock ux_archivecleanup /wal_archive %r'

2. 实时监控告警

• Prometheus + Grafana 监控指标：

# uxdb_exporter 配置
- name: ux_wal_stats
  metrics:
    - ux_wal_files: 'SELECT COUNT(*) FROM ux_ls_waldir()'
    - ux_oldest_wal: 'SELECT SUBSTRING(name FROM 1 FOR 24)::text FROM ux_ls_waldir() ORDER BY name ASC LIMIT 1'

3. 日志审计追踪

• 记录所有清理操作：

archive_cleanup_command = 'ux_archivecleanup /wal_archive %r >> /var/log/ux_archivecleanup.log 2>&1'

四、最终判断标准

您的配置 可以做到近乎无副作用，但必须满足：

1. 备份流程 100% 可靠（验证 ux_verifybackup）

2. 无长期停滞的复制槽（监控 ux_replication_slots）

3. 归档存储空间充足（建议保留 20% 冗余）

完整自动化架构：

通过以上组合策略，即可实现安全、自动化的UXDB WAL日志管理。