AI Infra SRE 工程师(大模型推理)(深圳/北京)

1.负责大模型在线推理服务（含评测、潮汐调度等业务形态）的全链路稳定性保障：日常值班、告警响应、故障定位与复盘，推动根因治理与长期改善； 2.负责推理服务性能与容量运营：KV Cache 调优、吞吐与时延优化、GPU 资源池水位监控与弹性调度，参与成本 / 资源优化专项； 3.建设面向推理场景的可观测体系：TTFT / TPOT、缓存命中率、GPU 利用率、排队时延等 SLI/SLO 指标落地，结合 Tracing / Logging 定位长尾问题； 4.参与推理集群（Kubernetes）日常运维：多机多卡部署与调度策略、Pod 异常与故障节点隔离、灰度发布与回滚预案； 5.沉淀 SRE 工具链与效能建设：巡检工具、故障自愈脚本、容量与成本预测模型，持续降低人工运维成本。 1.本科及以上学历，计算机、软件工程、电子信息等相关专业； 2.熟悉 Go / Python 编程语言，了解 Kubernetes 核心机制，熟悉主流推理框架（vLLM / SGLang 等）；具备 1 年以上大规模在线服务（推理 / 训练 / 高性能计算）SRE 或平台运维经验； 3.深入理解大模型 KV Cache 调优与推理性能优化；参与过大型模型系统的成本 / 资源优化项目，对潮汐调度、模型评测等场景有实际运维经验； 4.积极主动、有自驱力，具备较强的学习能力。