About The Role

欢迎加入摩尔线程！我们团队致力于打造高性能大模型推理系统，推动主流大模型在自研 GPU 上的高效部署与性能优化，欢迎热爱 AI 基础软件与推理优化的同学加入！
岗位职责：
1、参与主流大模型在公司自研 GPU 上的推理部署、性能优化与工程落地工作。
2、参与推理框架、GPU 软件栈的优化，定位并解决各类功能、稳定性及性能问题。
3、探索大模型推理前沿技术，持续提升 AI 应用在 GPU 上的整体运行效率。
任职资格：
1、计算机、软件工程、人工智能、电子信息等相关专业，本科及以上学历。
2、具备扎实的数据结构、算法和计算机基础知识，熟练掌握 C/C++ 或 Python 编程语言。
3、熟悉 PyTorch 等主流深度学习框架，具备相关课程学习、科研或项目实践经验。
4、了解 Transformer、大语言模型及推理部署相关技术。
5、了解 GPU 编程、并行计算或性能优化相关知识，对 AI 基础软件和大模型推理优化方向具备浓厚兴趣。
6、具备良好的学习能力、沟通协作能力和自驱力，乐于主动探索前沿技术。
【加分项】
掌握 SGLang、vLLM、TensorRT-LLM 等推理框架，具备相关实践经验
拥有大模型推理部署、性能优化或 AI 基础软件相关项目、科研、竞赛经验
熟悉量化、KV Cache、分布式推理等主流推理优化技术
了解 CUDA、Triton、RDMA、AI Infrastructure、Kubernetes 等相关技术
参与过开源项目、发表学术论文，或在 ACM、Kaggle、数学建模等竞赛中取得优异成绩

This is an external listing. JobSpring does not represent or verify the employer. Report this listing

分布式推理工程师(J10986)

About The Role