云端部署深度学习模型：网络延迟直降67%实战
|
跟产品吵完那天下午三点，我盯着 Lighthouse 跑分截图发到后端大群——没人回。连个“收到”都没有。截图里 FCP 十八毫秒，TTI 那行标红了，但 PM 已经在钉钉上问“首屏白屏有没有优化掉”，我说“白屏没了，现在是黑屏闪半秒”，他回了个OK手势。我原以为这事儿就算揭过去了，结果第二天早上七点四十三分，运维甩过来三张 CloudWatch 告警截图：GPU Memory Alloc Rate 突刺到 98.7%，持续两分十七秒。这个我敢打包票，因为那会儿我在倒水，烧水壶跳闸了两次，水没烧开。 云端部署深度学习模型：网络延迟直降67%实战——去年夏天的事。不是实验室环境，是生产切流，真实用户流量走通的。我们压根没碰模型结构，就改了部署姿势：把 PyTorch 的 TorchScript 模型扔进 Triton 推理服务器，挂 Kubernetes 里，Service 层用 Istio 注入 gRPC over HTTP/2。不加任何缓存层，不调优 batch size，不搞 pre-warm。上线后 latency P95 从四百一十二毫秒掉到一百三十八毫秒。六十七个点。这个我说不准是不是全归功于网络栈——也可能只是把那个写了三年、never touched 的 /healthz 接口从 sync 改成了 async，顺便把 metrics endpoint 里的 label 过滤器删了两行。但老板在站会上说“这是架构升级”，我就没接话。
文章配图，仅供参考 优胜劣汰。不是指模型自己进化，是人。上线后三天，前端小李提了个 MR：把 fetch() 改成 streaming ReadableStream + pipeThrough(new TextDecoderStream())，结果发现 model inference response 的 content-length 居然比预期少三百七十二 KB——少了整一段 logits 后处理的冗余 log 字符串。他勾选合并请求的时候手抖点了两次提交按钮，GitLab 页面卡住三秒，弹出“Conflict detected, please refresh”，他刷新，再点，再卡，第三次才过。后来我们翻日志才发现，那三百七十二 KB 是原来 Python 服务端在 predict() 结尾硬塞的 print(json.dumps({'debug': True, 'step': 'softmax', 'shape': [1, 1001]})) ——print 直接怼 stdout，被 uvicorn 当作响应体的一部分吐出去了。这事没人认领，没人删，没人修，就那么跑了一年零四个月。桌面那个没关的录屏还开着，右下角显示录制时长：02:17:43。录的是上周五的 CR，讲 Triton 的 shared memory 模式怎么和 CUDA Graph 绑定。中间有五分钟静音——因为 GPU 调度器卡死，我们所有人干坐那儿等 kubectl top node 返回数据，谁也没动。PM 坐我左手边，全程在改 PRD，把“支持多模态输入”改成“支持图像+文本联合推理”，改完直接微信发给后端老张。老张回：“你先告诉我 tokenization 是 CPU 还是 GPU 做。” PM 回：“你们定。” 老张没再回。后来我们知道他那会儿正蹲在茶水间换充电线——原来那根Type-C 线内芯断了，充十次电失败八次，他换的新线是黑色带银纹的，接口处有点磨花。 反常识？不。就是别信那些“推理服务要靠算力堆”的鬼话。我们测过——同一套 Triton config，在同一批 GPU 上，把 client 端的 grpc.Dial() 里的 WithTransportCredentials(insecure) 换成 WithTransportCredentials(credentials.NewTLS(&tls.Config{InsecureSkipVerify: true}))，P99 latency 直接往上蹿二十一毫秒。原因？TLS handshake 那半秒多，不是加密耗的，是 DNS round-trip 多绕了三次：客户端查 certs.istio-system.svc.cluster.local，失败；查 certs.default.svc.cluster.local，失败；最后才 fallback 到 certs.local。这个我敢打包票，抓包看了十二遍。可没人愿意动 Istio 的 mTLS 策略，怕牵扯 service account 权限。所以我们就用 insecure ——不是图省事，是图它确定性高。安全团队来审计那天，我当着他们的面 curl -k https://tts-internal/api/v1/predict，返回 200，JSON 里写着 "latency_ms": 87。他们记笔记的手停了两秒，然后问：“这……算漏扫吗？” 我说：“不算，它没开外网端口。” 他们就走了。 CDN 账单上月涨了四万六，原因是我们在 edge location 上预热了一个十六GB 的 ONNX 模型权重，用作 failover。但那个 failover 机制从来没触发过一次。触发条件写的是 “if triton-unavailable AND nginx-502-count > 5/min”，结果我们忘写 health check path，nginx 一直认为 triton 活着——它确实活着，就是每次 infer 返回一个 http status 500 加一段 traceback（全是 torch._C._set_default_device 错误）。这错误在日志里埋了七百三十二行，grep 出来全一样。可告警没响，是因为我们用 Prometheus 抓 metrics 的时候，只采了 /metrics 里 labeled 的 histogram_quantile，漏掉了 unhandled_exception_total 这个 counter。前天运维打电话问我：“要不要把那个 ONNX 文件下线？” 我说：“留着吧，硬盘又不收钱。” KPI 折算这事我真不想提。但得说一句：去年 Q3 我们 team 的“端到端推理延迟改善率”指标是 67.3%，按 OKR 拆解，其中 64.1% 归因于“基础设施升级”。可实际呢？真正动的配置就三行：Triton config.pbtxt 里 max_batch_size 从 1 改成 8，model_repository 的 reload_policy 从 latest 改为 poll，还有 ingress controller 的 annotation 加了一行 nginx.ingress.kubernetes.io/proxy-buffering: "off"。剩下那 3.2%，是我手动把模型输出 JSON 里的 "logits" 字段重命名为 "scores"——因为前端 JS 用的是 const { scores } = res，而原来叫 logits 时，他们每次都要写个 mapping 函数，跑 runtime。这事我没报，也不打算报。 我现在正在改一个 bug：TensorRT 的 dynamic shape 支持不全，当 input height % 32 != 0 时，某个子图会 silently fallback 到 CPU，但 metric collector 没上报 device info。所以你看到 P99 latency 突然变高，trace 里找不到 hotspot，只有火焰图顶部飘着一层 libc malloc ——其实是 cudaMallocAsync 在 fallback 之后偷偷 fallback 回了 host alloc。修法已经有了，但我还没提 MR。先让监控再报两天，等老板问起“最近延迟波动怎么回事”，我再把那段 code paste 进会议纪要里。这招我用过三次，每次都管用。 （编辑：站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
