Sign InSign Up
Skip to content
← Back to job listings

AI大模型推理工程师(J10964)

Moore Threads · 北京市, 上海市, 浙江省·杭州市

External listingfull-time4 days ago

About The Role

  1. 参与大语言模型、多模态模型等 AI 模型的推理部署、性能优化和服务化建设。
  2. 协助搭建高性能、低延迟的大模型推理服务，支持模型在实际业务场景中的应用。
  3. 参与 Transformer、Attention、KV Cache、Batching、量化等推理相关技术的学习、调研与实现。
  4. 参与 vLLM、TensorRT-LLM、Triton、ONNX Runtime、SGLang 等推理框架的接入、测试与优化。
  5. 协助进行模型推理性能压测、瓶颈分析和资源利用率优化。
  6. 计算机、人工智能、软件工程、电子信息、自动化、数学等相关专业优先。
  7. 具备扎实的计算机基础，熟悉数据结构、操作系统、计算机网络、并行计算等基础知识。
  8. 熟悉 Python，了解 C++，具备良好的编码能力和工程实践习惯。
  9. 了解深度学习基础，熟悉 PyTorch、TensorFlow、ONNX 等至少一种深度学习框架或模型格式。
  10. 了解 Transformer、Attention、LLM 推理流程等相关知识。
  11. 对大模型推理优化、AI Infra、GPU 计算、模型服务化方向有浓厚兴趣。
  12. 具备良好的学习能力、问题分析能力和沟通协作能力。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing