岗位职责： 

1. 负责大模型应用、智能体（Agent）相关产品的全流程测试工作，覆盖单智能体、多智能体协作、工具调用、任务规划、RAG 检索、记忆模块、工作流编排等核心链路，保障 Agent 任务执行稳定性与效果质量。
2. 设计 Agent 专项测试方案与评测集，包含功能测试、链路测试、边界异常测试、鲁棒性测试、幻觉风险测试、安全合规测试；构造多样化真实业务用例、负面用例、对抗用例，验证 Agent 规划、工具调用、结果校验、失败重试、人工降级逻辑。
3. 搭建和维护 Agent 效果评估体系，跟进核心指标：任务完成率、幻觉率、工具调用错误率、轮次异常率、超时失败率、召回准确率等，持续沉淀 bad case 库，定位问题归属。
4. 开展回归测试、版本对比评测、模型升级对比实验，对比不同模型版本、提示词策略、Agent 编排方案的效果差异，输出评测报告，为产品、算法迭代提供量化依据。
5. 跟进问题闭环，复现、定位、跟踪 Agent 链路各类疑难问题，协同算法、后端、产品分析根因，推动修复；梳理测试卡点，输出风险评估与上线准入建议。
6. 沉淀 Agent 测试方法论、自动化评测脚本、评测数据集、测试工具；配合开发评测基座、Trace 日志分析能力，逐步落地自动化评测、批量任务压测，提升 Agent 测试效率。
7. 完成垂类大模型能力测试：指令遵循、上下文稳定性、输出一致性、安全风险、隐私泄露、输出格式稳定性等，跟进大模型应用合规风险。任职要求

1. 本科及以上学历，2 年及以上测试经验，有大模型应用、LLM、Agent、RAG、Copilot 相关测试经验优先。
2. 熟悉 Agent 运行链路，理解 Function Call、工具调用、任务规划、多轮执行、幻觉、检索增强等基础概念。
3. 具备专项测试设计能力，不局限于传统功能用例，擅长构造复杂、长链路、边界、对抗场景，能独立设计评测方案、评估数据集，输出评测报告。