部署事故复盘:一条脚本命令删掉了整台服务器
部署事故复盘:一条脚本命令删掉了整台服务器
时间:2026-11-19 深夜 ~ 2026-11-20 凌晨 影响:生产服务器
/var/www/my-docs站点被毁,根文件系统大面积删除,最终重装系统 性质:人为操作事故,由 AI 生成的部署脚本引起结论先写在前面:永远不要用字符串拼接来构造删除命令,尤其是当这段字符串会被两个不同的 shell 依次解析时。
1. 时间线
| 时间(CST) | 事件 |
|---|---|
| 11-19 23:32 | 登录新装服务器,确认仅有 nginx 默认站点,无证书、无 certbot |
| 23:33 | 上传构建产物到 /var/www/my-docs/dist,写 nginx 站点配置,HTTP 访问正常 |
| 23:35 | 首次 certbot 签发失败:acme-v02.api.letsencrypt.org 连接超时 |
| 23:36 | 定位为 IPv6 优先 + 无 IPv6 路由,写入 gai.conf 后签发成功(有效期至 2027-02-17) |
| 23:44 | 重写 nginx 配置(修掉管道编码导致的中文注释乱码),reload 正常 |
| 23:56 | 测试新版部署脚本 deploy.ps1,远端执行到 rm -rf /* |
| 23:57 | 发现站点 500、SSH 拒绝连接,评估确认根文件系统已被删除 |
| 11-20 00:02 | 确认无法恢复,重装操作系统 |
| 00:37 | 重建完成:nginx + 站点 + Let's Encrypt 证书全部恢复 |
2. 直接原因
事故脚本的远程部分是这样拼的(PowerShell):
$remote = @"
set -e
mkdir -p $RemoteDir
rm -rf ${RemoteDir:?}/*
tar -xzf /tmp/my-docs-dist.tar.gz -C $RemoteDir
"@
$remote | ssh root@server "tr -d '\r' | bash -s"问题出在 rm -rf ${RemoteDir:?}/* 这一行:
- 它写在一个双引号 here-string 里,PowerShell 会先做变量插值
${...}是 PowerShell 的变量语法,${RemoteDir:?}被当作"名为RemoteDir:?的变量"- 这个变量不存在,于是展开为空字符串
- 实际下发到服务器的命令变成:
rm -rf /*
而 ${RemoteDir:?} 本来是想借用 bash 的"变量为空则报错"语法来保护自己 —— 但 PowerShell 在它之前就把变量吃掉了,保护根本来不及生效。两层语言叠加时,转义与插值顺序是最容易出事的地方。
以 root 身份、rm -rf、无交互确认、递归根目录,四个条件凑齐,执行即不可逆。
3. 为什么破坏得这么彻底
| 因素 | 说明 |
|---|---|
| root 权限 | 删除命令以 root 执行,没有任何路径被拒绝 |
| 递归根目录 | /* 覆盖 /etc、/var、/usr、/boot、/root |
| 无快照 | 没有可回滚的磁盘快照 |
| 无预演 | 脚本第一次真实运行就是在生产环境 |
| 只跑一次就生效 | 没有 -WhatIf、没有 dry-run 分支 |
唯一"活下来"的是 /usr/local/aegis(阿里云安全组件),因为它有文件级自我保护,大量报 Operation not permitted。这也从侧面说明:如果当时用非 root 用户部署、或对目录加了保护,损失会小得多。
事故后的服务器症状,可作为识别参考:
$ ssh root@10.0.0.1
Connection closed by 10.0.0.1 port 22 # /etc/passwd、/etc/ssh/* 已被删除
$ curl -I https://www.ouyangss.site/
HTTP/1.1 500 Internal Server Error # nginx 进程还在内存,但站点文件没了/etc/passwd 一旦丢失,控制台 VNC 也无法登录,只剩重装或快照回滚两条路。
4. 恢复过程
- 阿里云控制台重装操作系统(Debian 12)—— 旧磁盘内容已不可用,且无快照
- 重新下发 SSH 公钥(
/root/.ssh/authorized_keys随系统清空) - 重新搭建 WireGuard(
/etc/wireguard里的密钥也在删除范围内,服务端私钥丢失,Windows 客户端必须换新的服务端公钥) - 用重建脚本恢复 nginx + 站点 + 证书(本次约 3 分钟跑完)
- 全量验证:HTTPS 200、HTTP→HTTPS 301、证书链有效、
certbot renew --dry-run通过
本次运气好的地方:站点内容本身在本地仓库,没有任何笔记丢失。丢的全是服务器环境,而环境是可以脚本化重建的。
5. 改进措施(已落地)
5.1 发布改为原子切换,不再删除站点目录
/var/www/my-docs/
├── releases/20261120-003754/
├── releases/20261120-003838/ ← 新版本解压到这里
└── dist -> releases/20261120-003838发布流程变成:解压新版本 → ln -sfn 建临时软链 → mv -Tf 原子替换。整个流程没有一条删除站点路径的命令,失败也不会破坏在跑的版本。
5.2 目标路径加白名单校验
if ($RemoteBase -notmatch '^/var/www/[A-Za-z0-9._-]+$') {
throw "RemoteBase 不合法: '$RemoteBase'"
}路径不符合固定形状就直接中止,避免变量为空/异常时把危险路径传下去。
5.3 远程脚本改为单引号 here-string + stdin
单引号 here-string(@'...'@)不做任何变量插值,脚本体原样送达对端 bash;配合 tr -d '\r' | bash -s 避免换行符和引号问题。
5.4 编码与管道的两个坑(一并修掉)
| 坑 | 现象 | 处理 |
|---|---|---|
| PS 5.1 按 GBK 读无 BOM 的 UTF-8 | 中文注释乱码、引号错位导致语法错误 | 脚本存为 UTF-8 with BOM |
| PowerShell 管道传二进制 | tar -czf - . | ssh ... 'tar -xzf -' 报 not in gzip format | 先落地 .tar.gz,再 scp |
5.5 证书续期链路修复
gai.conf 中加 precedence ::ffff:0:0/96 100 强制 IPv4,否则 ACME 请求会先撞 IPv6 无路由而超时。
6. 通用检查清单
任何要执行的破坏性命令(rm -rf、mv 覆盖、mkfs、dd、chown -R),上线前逐条过一遍:
- [ ] 路径是字面量还是变量拼接?变量有可能为空吗?
- [ ] 这段字符串会经过几层解析(PowerShell / bash / ssh / systemd)?每层各自的展开规则是什么?
- [ ] 有没有把
-WhatIf/--dry-run/echo掉实际命令 先跑一遍? - [ ] 执行身份是 root 吗?能否换成只有
/var/www写权限的部署用户? - [ ] 目标机器有快照或备份吗?
- [ ] 事后能恢复吗?恢复步骤写下来了吗?
- [ ] 有没有可能"删空目录"改为"切软链接"来规避?
跨语言/跨 shell 传命令的几条铁律:
- 能用文件传就别用内联字符串;能用 stdin 就别拼引号
- 需要变量时,明确哪一层展开:
@'...'@(单引号)留给对端,@"..."@(双引号)才由本地展开 - 破坏性操作前先
printf '%s\n' "$cmd"把最终命令打出来核对 ${var:?}、set -u这类保护只在同一层 shell 内有效
7. 关键教训
- 确定性故障比随机故障更可怕:这条命令 100% 会执行
rm -rf /*,只要运行一次就必然出事 - 保护语法跨层会失效:
${RemoteDir:?}看起来像保护,实际成为事故开关 - "顺手写的清理"最危险:真正需要的是"切换到新版本",而不是"删掉旧目录"
- 生产环境没有预演的脚本 = 未测试的脚本
- 最小权限是最后一道防线:非 root 部署能让同类事故从"全站重装"降级为"目录权限报错"
鄂公网安备42011102006488号