微信输入法/秒剪-大模型推理优化工程师-NLP 方向

1.配合算法工程师，推动大模型相关算法的落地，打造高吞吐、低延迟的推理系统，在产品上实现快与准的交互体验； 2.探索面向高并发场景下（千万量级）的高性能推理服务架构，针对NVIDIA GPU、NPU等国产算力进行性能调优，包括算子融合、显存管理、计算图编译优化、Batching、KVCache管理，打造高效的推理服务架构，结合LLM能力实现业务的高效运转； 3.持续跟进业界最新Infra技术，如高效通信库、量化、稀疏蒸馏等训练部署方案，配合实际业务进行技术预研； 4.结合推理引擎和业务服务，优化动态流量调度、资源管理等结合业务实际情况的后台策略。