About The Role

岗位职责：
1、超大模型训练的功能研发：负责设计和实现超大模型训练任务的核心功能以及各类强化学习（RL）算法，能够应对超大集群和复杂模型结构的挑战
2、国产化平台适配与优化：负责将超大模型训练任务适配到国产平台进行深度优化，确保任务的高效运行。结合国产平台特性，设计并完成内存优化、计算优化、通信优化等，解决国产化平台的各种问题，确保训练任务的稳定性和可扩展性。
3、主流大模型任务研发与优化：负责各个领域（如自然语言处理、计算机视觉、多模态等）的主流大模型任务在国产和非国产化平台上的功能研发、适配优化和使用支撑。针对不同领域的大模型任务，设计并实现高效的训练策略和优化方案，确保训练任务的高效性和可扩展性
任职要求：
1、大学本科及以上学历，计算机科学、人工智能、机器学习、软件工程等相关专业优先。
2、熟悉PyTorch框架，具备丰富的深度学习模型训练优化经验，了解主流开源大模型训练框架（如DeepSpeed、Megatron-LM、Colossal-AI等）。
3、熟练掌握大模型训练的并行算法（如数据并行、模型并行、流水线并行、ZeRO等），并具备实际优化经验优先。
4、了解主流的深度学习算法模型，尤其是Transformer结构及其变体，具备相关模型的训练和优化经验。
5、具备丰富的编程开发经验，能够编写高效、可维护的代码。
6、了解国产硬件平台的架构和特性，具备在国产化平台上进行深度学习模型训练和优化的经验。
7、熟悉国产化平台的开发工具链和优化库，有深度优化经验优先

This is an external listing. JobSpring does not represent or verify the employer. Report this listing

AI研究院-中级研究算法工程师-大模型训练方向

About The Role