职位描述:
1、设计和实现推理引擎SDK,提升推理性能、易用性和产品稳定性。
2、开发推理引擎的AI编译。包括图融合、各类图优化、算子优化以及自动化调优等;
3、开发推理引擎的运行时系统。包括内存管理以及资源管理等等;
4、熟悉类CUDA/ROCm Runtime和Driver API及其底层实现,理解常用机制如异步launch,事件event,进程隔离/调度;
5、参与大模型的推理优化。基于推理引擎,研发和应用大模型推理优化的技术。
职位要求
1、计算机相关学科硕士及以上学历;
2、熟悉 C++、Python 等编程语言,3年以上C++的开发经验;//有开发经验即可,组内已经有两个资深工程师;
3、熟悉深度学习框架,如Tensorflow,Pytorch,至少熟悉一种推理引擎;
4、具有使用TVM / MLIR / IREE 进行AI模型编译和优化的经验 加分项;
5、有很好的团队协作能力与沟通能力,对技术和代码品质有追求。