运维老手血泪总结：5大服务器部署深坑

　　跟老板拍桌子那天是去年十二月十七号下午三点，会议室空调坏了三台里有两台在吹热风，我后颈全是汗，手里捏着那张刚打出来的部署检查单——第一页就印着“环境一致性确认已通过”，我指着它说这行字比上次团建抽的签还玄乎。PM 在啃第三根香蕉，果肉黏在PPT翻页笔上没擦，她抬头说“灰度发了两小时没报警就是稳”。我直接把单子对折塞进她刚拆封的防蓝光眼镜盒里，盒盖弹开的时候弹飞了她耳钉，她没捡。

文章配图，仅供参考

　　第二个坑：Ansible 的 become_user 配合 sudoers NOPASSWD，听起来很美，实操是自杀式交叉验证。我们组小王写的 playbooks，所有任务都走 www-data，结果部署时跑 npm install 顺手带了 --no-bin-links，理由是“怕软链出问题”。问题是这个参数会让 node-sass 编译完不生成 binding.node，但错误被 stdout 重定向吞掉了，只在 /tmp 下留了个空的 .node-gyp 目录。Lighthouse 跑分截图发到群里没人回，我就截图发给了前端，他回了个“？”然后切去改 Vue 3.4 的响应式穿透 bug。后来查出来是因为 /tmp 权限是 1777，而 node-sass 的 fallback 机制会在权限不足时静默跳过编译——不是报错，是直接删自己生成的中间文件。我敢打包票：你服务器上只要有 node-sass 8.x 和 Ubuntu 22.04，默认就是这个结果。别信文档，信 /var/log/syslog 里那行被覆盖三次的 audit.log 记录。

　　第三个坑：Nginx upstream 的 keepalive 和上游服务的 connection timeout，根本就不是同一个世界的时间观。上个月有个接口 P95 突然从四百毫秒跳到三千二百毫秒，监控图锯齿状，一看是偶发长尾。查下来发现 Go 后端设置了 http.Server.ReadTimeout = 60 time.Second，但 Nginx upstream_keepalive_requests 是 100，upstream_keepalive_timeout 是 60s，而 upstream 的 health_check interval 是 45s。三个数字咬合得严丝合缝，结果每第四十五秒就会强制断一个连接，第六十秒再新建——断连瞬间刚好卡在请求半路上。我们盯着 tcpdump 看了三小时，最后是运维实习生在倒水的时候顺手敲了 netstat -anp | grep :8080，发现 ESTABLISHED 连接数恒定在 97–101 浮动。她倒的是温水，保温杯贴纸是“甲方爸爸请喝茶”，杯盖拧了七圈半才卡紧。

　　CDN 账单上个月涨了八千块，不是缓存没配好，是误开了 Origin Shield 后又把 Cache-Control max-age=0 写进了 dev 环境 header。S3 的 GET 请求量从每天三百二十万飙到一千一百万，账单小数点后三位都在抖。这个我说不准是不是 AWS 计费逻辑变了，但我知道我们 CDN 控制台里那个叫“缓存键标准化”的开关，关掉之后 S3 的请求量降回去了——可下游的 React 18 Server Component 渲染就开始抛 hydration mismatch，前端骂了三天，没人碰 SSR 的 hydration logic，因为那个逻辑在 node_modules/react-dom/cjs/react-dom-server.browser.development.js 里，而我们锁死的版本是 18.2.0，补丁还没合并。算了，这事不归我管。

　　第四个坑：Kubernetes InitContainer 里执行 kubectl get nodes ——听着像行为艺术，但真有人干。去年十二月那个凌晨，线上 DNS 解析失败，排查到一半发现 CoreDNS pod 本身卡在 Pending，describe 一看事件：“FailedScheduling: 0/12 nodes that met predicate errors: Insufficient memory”。可 top 看内存还有四十八GB空闲。最后发现 InitContainer 里写了 kubectl get nodes -o wide > /tmp/nodes.log，而这个命令会触发 kube-apiserver 的 watch 连接建立——恰好那天集群升级完，apiserver 的 etcd client 连接池没调够，watch 请求堆满队列，反向阻塞了调度器的心跳监听。这个我敢打包票：只要 InitContainer 里任何地方调用了 kubectl 或 curl 到 apiserver，且没加 --request-timeout=1s，你就等于给调度器喂泻药。谁写的？后端新来的那个研究生，现在转岗做 API 文档维护了，充电线换了新的，Type-C 接口那头镀了一层浅金，插进 MacBook 时有微弱的磁吸感。

　　第五个坑：Terraform state file 存在 S3，用 versioning + SSE-KMS 加密，听着很牢靠。但去年十二月十七号，我手抖删错了 workspace，tf workspace select prod 回车前顿了零点三秒，结果选了 pre-prod。apply 之前没 tf plan ——因为 Jenkins pipeline 的 stage 里写着 “# Skip plan in prod, it's too slow”。结果它把 pre-prod 的 EKS worker group 扩容配置，apply 到了 prod，扩容策略里有一条 “max_size = 99”，于是 prod 集群半夜自动起了八十七台 c6i.4xlarge。我看见 Slack 报警时正往咖啡里搅第二勺糖，没搅匀，颗粒沉在杯底像微型陨石。报销单里这笔 EC2 费用最后折算成 KPI 里的“资源优化达成率负值”，HR 系统自动打了红标。优胜劣汰？不，是优胜者删错 workspace，淘汰者替他写故障复盘报告，而那报告的 Word 模板，标题栏还留着三年前离职同事的工号水印。

　　我现在部署前会先手动 touch /tmp/deploy_lock.$(date +%s)，然后再跑脚本。不是为了防并发，是让所有 CI 任务在进入 deploy stage 之前，先读这个文件、校验时间戳、比对机器名。这个土办法没文档、没 review、没测试，但我们组最近三个月没再出现过跨环境覆盖。至于其他四个坑？等下周和产品吵完“为什么灰度必须支持 1%～99% 任意粒度路由”再说。她香蕉皮扔进回收桶时，桶沿沾着一小片黄色果肉，在灯下反光像块氧化铜。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!