Sign InSign Up
Skip to content
← Back to job listings

27届校招-大模型工具链开发工程师-成都/深圳/南京/西安(J10781)

云天励飞 · 四川省·成都市, 广东省·深圳市, 江苏省·南京市, 陕西省·西安市

External listingfull-time2 months ago

About The Role

  • 1.基于PyTorch开发针对自研芯片的大模型分布式推理框架；
  • 2.分析并实现自研芯片的分布式推理策略，优化推理性能；
  • 3.设计多芯片间高效互联的通信机制及通信计算并发机制；
  • 4.适配并优化主流大模型在自研芯片上的分布式推理效率。
  • 1.本科及以上学历，211院校优先，计算机、电子工程、软件工程等相关专业；
  • 2.精通TorchScript/Trace机制，有CUDA Graph捕获逻辑相关经验；
  • 3.具备CUDA/Triton/TVM算子开发经验；
  • 4.理解LLM推理关键技术（PagedAttention/Continuous Batching/Speculative Decoding等）；
  • 5.熟悉常用分布式策略与集合通信算法；
  • 6.了解VLLM/TGI/SGLang等大模型推理框架内部流程。
  • 优先条件
  • 1.主导过语言大模型/多模态大模型的大规模分布式推理部署；
  • 2.有自研芯片工具链开发或优化经验；
  1. 参与过开源大模型推理框架贡献。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing