AI中间件开发专家工程师（Embedded方向）(J14612)

• 岗位定位： 参与端侧模型推理中间件的研发，实现存储融合。实现端侧模型存储优化
• 岗位职责：

1. 负责AI模型在边缘设备上的推理优化（DRAM&NAND内存融合），挖掘推理期间内存占用与性能数据，突破现有边缘设备的内存瓶颈
2. 负责负责KV Cache分层存储模块的设计与开发,实现KV Cache在不同存储介质的动态流转
3. 负责边缘设备上的加速外设（GPU/NPU）进行推理加速，分析解决适配过程中的功能、性能与精度问题

职位要求：

1. 计算机、电子工程、通信工程相关专业，7年以上且以C++为主要工作语言的经验，其中需要包含1年以上的推理引擎工程化经验
2. 熟练使用C++语言（必要条件），了解C++11以上特性，能够使用C++语言实现高性能计算
3. 在边缘设备上适配llama.cpp\mnn\mllm等现有的开源推理框架（了解其一即可），
4. 了解MOE模型训练与推理时token与专家分配关系
5. 深入理解计算机体系结构，了解DRAM/Cache/Disk-IO co-work机制 4、可以熟练在Linux上进行开发，了解Linux上各项机制（内存申请、任务调度、资源管理）
6. 熟悉手机平台NPU工作原理，和在不同推理框架下使用方式

加分项：

1. 能够熟练解析各模型权重信息，并了解这些权重在推理过程中的作用
2. 大模型推理期间KV-Cache、动态批处理、encode-decode相关知识
3. 输出推理引擎的架构文档、内存占用数据、性能分析报告等文档
4. 高性能计算经验
5. 有敏捷开发经验