AI中间件开发专家工程师（SSD方向）(J14613)

• 岗位定位：
• 参与大模型推理加速中间件的研发，负责 KV Cache在 三级存储间的智能调度， 实现 MoE模型卸载，跑大模型，突破单卡显存瓶颈，提升推理吞吐量。并进行推理加速，分析解决适配过程中的功能、性能与精度问题。
• 岗位职责：

1. 负责KV Cache分层存储模块的设计与开发，实现显存、内存、SSD间的动态换入换出与淘汰策略
2. 负责MoE模型专家的调度管理，实现非活跃专家的按需加载与卸载
3. 负责主流推理引擎（llama.cpp/vLLM/SGLang等）的中间件对接与集成适配
4. 负责存储I/O性能优化（io_uring/零拷贝等），提升KV Cache读写效率
5. 负责多硬件多操作系统适配和兼容性，包括iGPU,dGPU,Linux和windows操作系统
6. 持续对标行业方案，完成性能测试与迭代调优

任职要求：

1. 本科及以上学历，电子信息,计算机等相关专业 (985/211优先)，5年以上C/C++/Python开发经验
2. 有vLLM、SGLang或LlamaCpp任一推理框架的二次开发经验
3. 了解Transformer架构及KV Cache基本原理，MoE等模型架构和推理框架原理
4. 熟悉Git、CMake、Docker等工程化工具
5. 有一定的存储驱动的开发经验和相关存储host的调试能力

加分项：

1. 有CUDA编程或GPU显存优化经验
2. 了解MoE架构或有相关开发经验
3. 有存储系统Host方向(SPDK)性能调优经验
4. 熟悉CUDA统一内存(Unified Memory)编程，或者iGPU/dGPU平台推理调优经验