About The Role

1.负责LLM、多模态、视觉模型在GPU/NPU算力集群的分布式推理部署、服务封装、功能验证与业务上线；
2.基于Triton、vLLM、TensorRT-LLM及自研推理服务框架，搭建标准化推理服务集群，实现多机多卡张量并行、流水线并行、分布式KV Cache推理方案落地；
3.开展集群推理全链路性能调优，优化推理时延、吞吐、显存占用、集群资源利用率，定位集群通信、调度、IO、并发瓶颈；
4.搭建推理服务Benchmark与压测体系，完成极限并发、稳定性、时延测试，输出集群优化与扩容方案；
5.基于Docker、K8s完成推理服务容器化打包、集群编排、负载均衡、自动扩缩容、故障自愈搭建；
6.负责线上推理服务运维、故障排查、性能迭代，保障业务7*24h稳定运行，沉淀集群运维与调优文档。
•本科及以上学历，计算机、软件工程、网络工程、人工智能、电子信息等相关专业；
•熟练Linux环境开发与调试，掌握进程、内存、网络、日志排查方法；
•了解Docker容器化技术，熟悉K8s基础架构与集群调度原理；
•了解AI推理服务、分布式部署、并发调度基础原理。
加分项
•有AI集群部署、推理服务开发、云原生项目实习/项目经验；
•熟悉Triton、vLLM等主流推理服务框架，懂分布式推理优化；
•掌握K8s运维、微服务、负载均衡、资源调度相关技术；
•有算力平台、智算中心、AI Infra相关项目经验。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing

27届校招-集群推理系统应用工程师（部署工程方向）(J10887)

About The Role