返回课程目录

AI Agent 面试专题 · 第 05 讲

框架与编排

用邮件录入日历的例子,拆解 DSPy、LangGraph 和 Temporal 怎么分工,以及流程跑到一半失败怎么恢复。

本文目录
  1. 01 一个 Agent 系统要先想清楚哪三件事?
  2. 02 DSPy 怎么把模型调用写成能评测的程序?
  3. 03 LangGraph 怎么把流程和状态画出来?
  4. 04 模型一样,换一个 Harness 为什么还会变?
  5. 05 Temporal 怎么让任务从故障里接着跑?
  6. 06 做得能跑,也要做得能查、能评测
  7. 参考文献
蓝色隧道,TechGuide AI Agent 开发系列封面

TechGuide「AI Agent 面试专题」第 5 篇 · 框架与编排

正文约 5100 字 · 预计阅读 11 分钟

大家好,我是声哥。

上一篇讲清楚了一次工具调用。这篇把事情再往前推一步,一封邮件进来,提取日程、检查时间、写入日历,怎么把这几步串起来?中间挂了又从哪儿接着跑?我用同一个例子聊清几个常见框架各管什么。文章脉络会跟着斯坦福大学《Engineering AI Agents》课程来走,也作为我的学习笔记,持续更新,欢迎关注。

Agent 岗位八道高频题,同一轮同一题只计一次。

01 一个 Agent 系统要先想清楚哪三件事?

假设我想做一个自动录入日历的功能。拿来一封邮件,系统识别出周五上午十点有个会,把日程写进去。一个可演示的版本可能很快就能跑出来。再问两句,它能处理「下周五」,还是只能处理写了具体日期的邮件?遇到通知、推广邮件,怎么知道它不会顺手加一个日程?

我会把事情分成三块。数据是系统会遇到的输入,外加示例、运行轨迹和人工反馈。系统是执行任务的模型、工具、工作流。评测和指标负责判断结果值不值得信,包括日期时间填得对不对、普通邮件误建了多少日程、每封邮件花多久。后面调模型、提示词和流程,都要回这三个地方看。

蓝色是可用于训练和评测的数据,绿色是实际运行的系统,红色是用来衡量效果的指标。三块放在一起才有办法判断改动有没有用。

图 01 蓝色是可用于训练和评测的数据,绿色是实际运行的系统,红色是用来衡量效果的指标。三块放在一起才有办法判断改动有没有用。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)

框架提供的抽象也分层。最左边是单次模型调用。往右,把几次模型调用和普通代码拼成工作流,程序负责决定下一步。再往右,给模型更多选择空间,让它根据上一轮工具结果决定接着做什么,这时候就会用到 Agent 的运行框架,也叫 Agent Harness。还有两件事贯穿整个系统,怎么保证任务出了故障能接着跑,怎么从记录里定位问题。这是编排和可观测性要回答的问题。

中间的工作流主要由程序决定走哪条分支,右边的 Agent 允许模型根据结果选择下一步。顶上的可靠性和可观测性横跨整条链。

图 02 中间的工作流主要由程序决定走哪条分支,右边的 Agent 允许模型根据结果选择下一步。顶上的可靠性和可观测性横跨整条链。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)

02 DSPy 怎么把模型调用写成能评测的程序?

Signature 指定要做什么

DSPy把常见工作拆成三部分。Signature(签名)定义输入和输出。Module(模块)决定怎么调用模型、怎么组合几段逻辑。Optimizer(优化器)根据样本和评分改进提示词等可优化部分[2]。

上面的 Signature 约定输入输出,中间的 Module 决定怎么调用和组合,下面的 Optimizer 用评测反馈改进程序里可调整的部分。

图 03 上面的 Signature 约定输入输出,中间的 Module 决定怎么调用和组合,下面的 Optimizer 用评测反馈改进程序里可调整的部分。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[2]DSPy 原论文(2023)

签名最短能写成「一条消息进来,一个情绪标签出去」。可是标签要是任意字符串,同一个意思可能写成 positive、Positive 或一整句话,后面的代码还得猜。需要精确标签时,可以把允许的输出做成枚举,或者明确要求输出字段。给邮件提取日程也是一样。输入是邮件文本,输出拆成事件名、日期、开始时间和持续时长,没法确定的字段可以为空。DSPy 会按签名和适配器生成模型请求、解析返回。格式正确以后,日期和时区仍然要单独检查。

Module 把模型调用和业务分支串起来

简单的 Predict 可以拿着签名直接调用模型。ChainOfThought 在输出里加入推理字段,再让模型填后面的结果。两个模块也可以装到一起,写成一个像普通 Python 函数一样调用的流程。

日历例子是这么串的。先从邮件提取日程,检查事件名、日期和开始时间。如果前置字段不够,就返回「未找到可录入的日程」。如果字段齐,就让另一个模型调用选一个能代表事件的表情,再通过日历接口新建事件。原示例里没写持续时长时默认一小时,这一步是程序规则,知道它在哪儿,就知道设错了该改哪段。普通邮件走到前置校验就结束,也能省一次模型调用。

下半部分是模型的输出。除了推理字段,还有事件名、日期、开始时间和持续时长,后续代码可以逐个读取。

图 04 下半部分是模型的输出。除了推理字段,还有事件名、日期、开始时间和持续时长,后续代码可以逐个读取。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[2]DSPy 原论文(2023)

Optimizer 要先有样本和评分

在日程提取这个小例子里,用了 50 封有标签的合成邮件。30 封用来做优化,20 封留着看结果。评分只核对日期、开始时间和持续时长。三个都吻合得 1 分,任意一个错了得 0 分。事件名没加入精确匹配,因为「组会」和「每周组会」可能都能用。优化器还可以拿到文本反馈,比如「开始时间猜错了一小时」,比只有一个 0 分更容易知道从哪下手。

代码里分别对照日期、开始时间和持续时长。all 是三条都成立才给分。下面还把失败的字段写成反馈,供优化器参考。

图 05 代码里分别对照日期、开始时间和持续时长。all 是三条都成立才给分。下面还把失败的字段写成反馈,供优化器参考。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)

这个示例用 GEPA做提示词优化。它跑一批样本,看调用轨迹和反馈,提出改写方案,再用评分筛选。比如原来只说「从邮件提取日程」,改过的指令会把相对日期、时间格式和空值要求交代得更细。对应的演示里,Gemma 3 12B 从 20 封里答对 11 封,提高到 20 封全部匹配,动的是提取模块的提示词。这个小样本很适合看清流程。拿去处理真实邮箱时,要补上时区冲突、多个备选时间、过期转发这些情况,再看收益能不能保持[3]。

截图里是优化后的日程提取要求,写出了输出字段、格式和处理缺省值的规则。优化器改的是指令,评测仍用同一套字段规则。

图 06 截图里是优化后的日程提取要求,写出了输出字段、格式和处理缺省值的规则。优化器改的是指令,评测仍用同一套字段规则。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[3]GEPA 提示词优化论文(2025)

用优化器有运行成本。每试一个候选指令,都可能要再跑一批样本。留出来的测试集适合做最后核查,反复拿测试结果挑提示词,也会把答案挑到这组题上。还有一点,指标只算三个字段时,就算分数满了,也说明不了它会不会在没有活动的邮件里误建日程。这样的风险要放进指标里,优化器才有机会帮你改。

同一套工具也能交给模型选

换一个要求,「周三下午的课后约半小时咖啡,顺手把现有讲座都标上书本表情」。现在要先查日历,再找空位,还要更新几条已有记录。把日历函数登记给 DSPy 的 ReAct 模块,它就能按「判断下一步、调工具、读结果」的循环推进。现有日程没查出来时,可以先处理查询失败,后面的写入要继续等合适的信息。

DSPy 还提供 RLM(Recursive Language Models,递归语言模型)模块。举个和前面相连的例子,一个很长的邮箱可以作为变量放在执行环境里。模型通过代码搜索、切段,对需要仔细理解的部分发起子调用。原始内容留在执行环境,每轮输入可以只给这一步需要的片段[4]。

左边让模型通过执行环境访问长文本变量,右边把选出来的局部片段交给子调用。重点是按需读内容,局部任务的结果再回到主流程。

图 07 左边让模型通过执行环境访问长文本变量,右边把选出来的局部片段交给子调用。重点是按需读内容,局部任务的结果再回到主流程。 来源 [4]Recursive Language Models 原论文(2025)

03 LangGraph 怎么把流程和状态画出来?

前面的日历流程用普通 Python 就能写。节点多起来后,想知道某个分支怎么走、哪里循环、哪个节点之后能恢复,可以把这套控制流显式写成图。LangGraph的核心是三样,State(状态)放当前任务数据,Node(节点)读取并更新状态,Edge(边)决定接下来执行哪个节点。节点可以调模型,也可以跑一段确定的代码[5]。

比如,状态起初只有邮件,extract 节点把日程字段写进去。接着跑一条条件边,有事件名、日期和开始时间就去 pick_emoji 节点,再到 add_to_calendar。信息不足就直接结束。这里的路由代码是普通的 Python 判断。要更新字段名或修改条件,能直接找到哪条边依赖它。

这段示例用 Pydantic 描述邮件应该提取出哪些字段。节点拿到结构化结果,再由条件边读取字段决定往哪走。

图 08 这段示例用 Pydantic 描述邮件应该提取出哪些字段。节点拿到结构化结果,再由条件边读取字段决定往哪走。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[5]LangGraph 官方概览

路由函数读取共享状态里的事件字段,字段够就走到选表情的节点,否则返回 END。状态里的内容来自上一个提取节点。

图 09 路由函数读取共享状态里的事件字段,字段够就走到选表情的节点,否则返回 END。状态里的内容来自上一个提取节点。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[5]LangGraph 官方概览

把模型放在中心,也可以搭出 Agent 循环。模型节点读消息状态,给出工具请求就走到工具节点,工具节点写回结果,再回到模型。模型没有新的调用并返回答案时,图走到终点。图负责约束能走的边,模型输出影响这一轮会走哪条。它也可以配置持久化状态等能力,具体要看应用怎么接入,而复杂任务的超时、跨服务恢复和副作用仍有对应的工程工作。

从 Start 进入模型节点。要用工具就沿向下的边走,结果写回状态再进模型。当前任务完成时,从模型节点走向 End。

图 10 从 Start 进入模型节点。要用工具就沿向下的边走,结果写回状态再进模型。当前任务完成时,从模型节点走向 End。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[5]LangGraph 官方概览

如果要和 DSPy 放在一起理解,可以把 DSPy 看成定义和优化一段模型程序的方法,把 LangGraph 看成让状态和节点按图流转的方法。比如,提取日期的逻辑可以在某个节点里面用 DSPy 实现,整个流程仍然由图来走。能两层都用,也可以只选眼下需要的一层。

04 模型一样,换一个 Harness 为什么还会变?

看个编程 Agent。模型能不能改好代码,还要看外面那一圈怎么搭。给它哪些工具,终端状态在下一步还在不在,什么时候停止,怎么把几十轮的日志塞回上下文,这些都属于 Harness 的设计。它把模型的判断、外部工具和环境接成一个能运行的循环。

红框里的模型、记忆、工具和行动一起运转,右边是终端、浏览器等外部环境。箭头表示向外执行,再把观察到的结果交回来。

图 11 红框里的模型、记忆、工具和行动一起运转,右边是终端、浏览器等外部环境。箭头表示向外执行,再把观察到的结果交回来。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)

mini-SWE-agent的早期设计非常直接。主要靠 Bash 操作,把每一步追加到线性的消息历史里。调用之间不沿用一个长期运行的 shell,刚刚切过的目录不会自动出现在下一次调用里。当工具行为很少时,出错也容易顺着这条消息链找[6]。

OpenHands给出了另一种组织办法。每一步操作和观察都可以记录成事件,再用事件重新构造模型消息。带持久终端的实现允许工作目录和 shell 环境在多步之间保留,也可以针对重复动作和相同结果做停滞检测。调试时既能看当时发生了什么,也能继续查当时给模型看了哪些记录[7]。

Pi默认将工具压到四个,读文件、写文件、编辑和 Bash。会话按树组织,可以回到早一点的消息另开分支。它按启动进程的权限工作,权限边界要由调用方或运行环境管理。OpenClaw则展示了长期运行的一种思路。Gateway 持续接入消息渠道,定时心跳可以触发 Agent,Markdown 文件可用于组织身份、指令和记忆。收到用户消息才运行,还是自己隔一段时间醒一回,会影响系统要维护多少状态[8][9]。

同模型换 Harness 有多少影响?Arena 用 Terminal-Bench 2 对比过几种组合,看到同一模型在不同 Harness 下,任务成功率和运行成本都可能变。榜单上的强弱还跟任务有关。给终端题定制过的 Harness 在终端基准上赢了,并不能代表换到日历场景还会赢。做对比时,最好留住同一批任务、同一套评分、相近的预算,再看差异发生在哪一步。Meta-Harness 的研究更进一步,让一个搜索过程提出 Harness 的改动,看运行轨迹,评分,再继续改。优化对象从单一提示词变成了模型周围的运行代码[10][11]。

每一组是同一个模型,颜色代表不同的 Harness。左边量单次运行成本,右边量任务成功率。要看 Harness 的影响,先在同一组横着对比。

图 12 每一组是同一个模型,颜色代表不同的 Harness。左边量单次运行成本,右边量任务成功率。要看 Harness 的影响,先在同一组横着对比。 来源 [10]Arena 同模型不同 Harness 测试报告

左图是随评测次数变化的搜索成绩,右图是特定终端任务基准里几个 Harness 的结果。指标用来比较这批设定下的候选设计。

图 13 左图是随评测次数变化的搜索成绩,右图是特定终端任务基准里几个 Harness 的结果。指标用来比较这批设定下的候选设计。 来源 [11]Meta-Harness 原论文(2026)

05 Temporal 怎么让任务从故障里接着跑?

刚才的日历任务只跑几秒。换成一个要等回信、查日程、到预约时间再发提醒的工作流,中间可能隔着几个小时。进程退了,重启之后不能只靠内存判断「刚好跑到哪儿」。Temporal的持久化执行就是为这类问题准备的[12]。

它有两个核心概念。Activity是可能失败的外部操作,比如调用模型、查日历或写一条记录。Workflow描述怎么安排这些操作,比如查完再写,可能要等定时器。Worker从任务队列里取任务跑。Temporal 服务记录执行事件,Worker 换一台机器接手时,可以用历史重建工作流进度。

左边是工作流串起几个 Activity,以及两类 Worker。右边是服务端维护的任务队列和执行历史。恢复时靠的是已记录的历史。

图 14 左边是工作流串起几个 Activity,以及两类 Worker。右边是服务端维护的任务队列和执行历史。恢复时靠的是已记录的历史。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[12]Temporal 官方文档 · Workflows

举个具体一点的恢复过程。提取日程的 Activity 成功了,结果已经写入执行历史。Worker 在选表情前崩了,新的 Worker 回放 Workflow 时,能读到已经记录的提取结果,再继续后半段。为了使这段回放一致,工作流代码的决策要可重放。带随机性、调用模型、网络 I/O 这些操作适合放进 Activity,或者使用框架明确支持的接口。

有失败的 Activity 可以设重试次数、退避和超时。日历演示里故意让选表情的步骤偶尔失败。从时间线上能看到,提取成功后,失败的是选表情,重试也是从选表情开始,成功后才执行写入。写入操作还要考虑另一种情况,日历已经建了日程,服务端确认还没返回,Worker 就断了。框架可能会再执行这次 Activity。给写入带一个可以查到的幂等键,或者按业务规则核对外部结果,才有办法避免重复建日程。长时间等待可以用服务端跟踪的持久定时器。需要等到明天才继续的流程,不必占着一个 Worker 一直睡。

看同一条执行时间线里的多个 Activity 尝试。某一步失败后可以按策略再次执行,其他已经完成并记入历史的步骤可以沿用。

图 15 看同一条执行时间线里的多个 Activity 尝试。某一步失败后可以按策略再次执行,其他已经完成并记入历史的步骤可以沿用。 来源 [1]斯坦福大学《Engineering AI Agents》课程(CS329Z)、[12]Temporal 官方文档 · Workflows

06 做得能跑,也要做得能查、能评测

一次请求的失败,要能追到具体节点

一个日历事件写错了,我希望能找到是谁把「下午三点」改成了「凌晨三点」。查一次完整的 Trace(追踪),先看模型的输入和结构化结果,再看路由判断、调用外部 API 的实参、返回状态。账号、令牌和邮件正文等敏感信息要按业务规定脱敏和控制访问。记录的重点是,谁在什么时候用哪些关键字段做了什么,究竟哪一步出的问题。

MLflow 可以把模型调用和评测放到实验记录里看。LangSmith 有按请求和步骤排开的运行记录。Langfuse 也把调用、成本、延迟等指标聚合起来,并支持往下找具体任务。这些工具共同解决的是出了错怎么找,故障恢复还要靠工作流本身设定超时、重试上限和预算,到达上限时要有能看懂的结束状态[13][14][15]。

工具返回失败之后,还有两种情况要分开。一次临时的网络错误,可以按基础设施的策略重试。返回「日期格式不支持」或者「这个时间段已有预约」,原样重试也改变不了结果,可以把可读的错误送回模型,让它改参数、换一步,或者向用户确认。把这两种错误分开,才不会把预算花在同一条失败调用上。

这一页展示一次次运行的追踪记录。能按延迟、状态等信息找同一次请求,再展开看里面的模型调用和工具步骤。

图 16 这一页展示一次次运行的追踪记录。能按延迟、状态等信息找同一次请求,再展开看里面的模型调用和工具步骤。 来源 [14]LangSmith 官方发布文与界面

Shepherd展示了执行轨迹还可以服务于另一种用途。它把可观察的执行轨迹变成可操作的结构,外部的 Meta-Agent 能根据轨迹进行分支、回退或介入,再比较后续表现。这是研究里的执行抽象。现实系统已经写到外部的动作,还要按外部系统支持的方式补偿或撤销,一段模型的历史回退不了已经送达的邮件[16]。

上方图里,Meta-Agent 在轨迹的不同位置观察、干预或分叉。下方三张图对比的是论文里三类使用方式的结果。

图 17 上方图里,Meta-Agent 在轨迹的不同位置观察、干预或分叉。下方三张图对比的是论文里三类使用方式的结果。 来源 [16]Shepherd 原论文(2026)

把领域里的真实任务做成测试集

公开编程榜单可以测一类 Agent 的通用能力。真要把邮件加到日历,更有用的分数来自自己的样本。可以先选几个用户真的会遇到的场景,写得很明确的约会,跨时区会议,只有日期没有时间的通知,邮件里同时有几个候选日期。再加 API 超时、重复投递、无权限写入这些情况。检查最终状态,核对错误是不是按规则收住,同时看准确率、费用、延迟。改完提示词或工具以后用同一套样本回归,才能知道哪些变好、哪些被带坏。

用框架之前,我会先把自己想省的那段工作说清楚。需要系统化地优化模型模块,就从数据和指标开始。需要看清多段任务怎么流转,先把状态和分支写出来。要跨进程、跨几小时接着跑,就看持久化执行和副作用。框架把这些事情做成了能复用的部件。出了错,开发者仍然要知道实际发给了模型什么、又调了哪个外部接口。

下一篇接着讲设计本身。什么时候几条固定的分支就够用,什么时候值得让模型自己决定下一步?

都看到这里了,点个赞或者在看,就是对我最大的支持。

参考文献

[1]斯坦福大学《Engineering AI Agents》课程(CS329Z)
https://cs329z.stanford.edu/

[2]DSPy 原论文(2023)
https://arxiv.org/abs/2310.03714

[3]GEPA 提示词优化论文(2025)
https://arxiv.org/abs/2507.19457

[4]Recursive Language Models 原论文(2025)
https://arxiv.org/abs/2512.24601

[5]LangGraph 官方概览
https://docs.langchain.com/oss/python/langgraph/overview

[6]mini-SWE-agent 官方仓库
https://github.com/SWE-agent/mini-swe-agent

[7]OpenHands SDK 事件架构文档
https://docs.openhands.dev/sdk/arch/events

[8]Pi CLI 官方文档
https://docs.pi.dev/latest/cli

[9]OpenClaw 官方文档 · Heartbeat
https://docs.openclaw.ai/gateway/heartbeat

[10]Arena 同模型不同 Harness 测试报告
https://arena.ai/blog/coding-agents-harness-tax

[11]Meta-Harness 原论文(2026)
https://arxiv.org/abs/2603.28052

[12]Temporal 官方文档 · Workflows
https://docs.temporal.io/workflows

[13]MLflow 官方文档 · Tracing
https://mlflow.org/docs/latest/genai/tracing/

[14]LangSmith 官方发布文与界面
https://www.langchain.com/blog/announcing-langsmith

[15]Langfuse 官方文档
https://langfuse.com/docs

[16]Shepherd 原论文(2026)
https://arxiv.org/abs/2605.10913