从最小 Agent 看懂工具、检索与记忆

从最小 Agent 看懂工具、检索与记忆

上一篇《什么是 AI Agents》里,我们把 Agentic System 的基础构件归纳为增强型 LLM:一个被检索、工具和记忆增强过的大语言模型。

这次,我们从一个最小 Agent 开始,逐个理解这些构件,并通过编码实现它们。本章涉及的示例代码都集中放在项目目录中:工具调用在 MinimalAgentLoop.java,检索在 MinimalRagDemo.java,记忆在 MinimalMemoryDemo.java。

代码仓库:https://gitee.com/toxplore/ai/tree/master/Page2

从一个最小 Agent 开始

我们先让模型解决一个简单问题:计算 123 × 456。

如果直接让模型回答,它可能会自己算,也可能算错。现在我们给它一个计算器工具,让它在需要时调用:

用户提问
  ↓
模型判断是否需要计算
  ↓
模型请求调用 calculator
  ↓
Java 程序执行计算
  ↓
程序把结果交回模型
  ↓
模型生成回答

这里有个容易混淆的地方:模型并没有真的运行计算器。它只是根据请求中提供的工具说明,返回“调用哪个工具、参数是什么”。真正执行计算的是我们的 Java 程序。

我的理解:模型负责决定要不要用工具,程序负责执行工具。两边来回配合,就构成了最小的工具调用循环。

工具:让模型能够采取行动

为什么我们可以把工具“交给”大模型?这不是因为模型能直接访问 Java 程序,而是模型服务商在 API 中提供了 Function Calling(函数调用)能力,约定了调用方和模型之间如何描述工具、传递调用请求和返回执行结果。

调用方把工具名称、用途和参数格式随请求一起发送。支持 Function Calling 的模型会结合用户问题和工具说明,选择直接回答,或者按约定的结构返回一个工具调用请求。这个请求只是“请程序调用某工具并传入这些参数”,还没有真正执行函数。

程序 ──工具说明 + 用户问题──→ 模型
程序 ←──结构化工具调用请求── 模型
程序执行工具,再把结果作为消息发回模型

所以,Function Calling 可以理解为模型服务提供的一种结构化 API 交互方式:模型负责选择工具并生成参数,应用程序负责校验、执行和回传结果。不同服务商提供的格式相近,但细节不一定完全相同。

把工具交给模型使用,可以拆成三步:在程序里注册工具;把工具说明发给模型并读取模型的调用请求;由程序执行工具,再把结果交回模型。

1. 设置并注册工具

这里注册一个名为 calculator 的计算器。工具说明和参数结构会发给模型;最后一行的执行函数留在 Java 程序本地。

private static final ToolSpec CALCULATOR = new ToolSpec(
    "calculator",
    "计算只包含数字、括号和 + - * / 的算式。",
    "{\"type\":\"object\",\"properties\":{\"expression\":{\"type\":\"string\"}},"
        + "\"required\":[\"expression\"],\"additionalProperties\":false}",
    arguments -> Calculator.calculate(
        String.valueOf(arguments.get("expression"))));

2. 把工具交给模型,读取它的调用请求

请求中包含对话消息、工具定义和 tool_choice: auto。这表示模型可以根据问题自行选择调用工具,也可以直接回答。

requestJson.set("messages", toApiMessages(messages));
requestJson.set("tools", toApiTools(tools));
requestJson.put("tool_choice", "auto");

如果模型决定调用计算器,会返回类似这样的数据:

{
  "tool_calls": [{
    "id": "call_123",
    "function": {
      "name": "calculator",
      "arguments": "{\"expression\":\"123 * 456\"}"
    }
  }]
}

Java 程序读取返回里的工具名和参数,转换成内部的 ToolCall 对象:

String callId = callNode.path("id").asText();
JsonNode function = callNode.path("function");
String name = function.path("name").asText();
JsonNode argumentsNode = function.path("arguments");
JsonNode parsedArguments = argumentsNode.isTextual()
        ? mapper.readTree(argumentsNode.asText())
        : argumentsNode;
Map<String, Object> arguments = mapper.convertValue(
    parsedArguments,
    new TypeReference<Map<String, Object>>() {});

calls.add(new ToolCall(callId, name, arguments));

3. 执行工具,把结果交回模型

程序根据工具名找到本地注册的执行函数,用模型给出的参数运行计算器。接着把结果作为一条 tool 消息加入对话,再请求模型继续回答。

private String runTool(ToolCall call) {
    ToolSpec tool = tools.get(call.name);
    if (tool == null) {
        return "工具错误:未注册的工具 " + call.name;
    }
    try {
        return String.valueOf(tool.executor.execute(call.arguments));
    } catch (Exception exception) {
        return "工具执行失败:" + exception.getClass().getSimpleName()
                + ": " + exception.getMessage();
    }
}
    

Agent 循环拿到执行结果后,再把它作为工具消息追加到会话;随后继续调用模型:

String result = runTool(call);
conversation.add(Message.toolResult(call.name, call.callId, result));

回传结果后,Agent 循环会再次请求模型。模型读到计算结果,才生成面向用户的最终回答。未注册的工具会被拒绝;工具执行失败时,程序会把简短错误信息交给模型处理。

我的理解:工具的“说明”给模型看,工具的“执行函数”由程序掌管,模型提出调用,程序执行并返回结果。

本次 Demo 使用的是阿里云百炼的 Function Calling 接口。其他模型服务也可能提供类似能力,但字段和行为不一定完全一致;更换模型或服务时,仍要查看对应文档。

检索:先找到资料,再让模型回答

如果我们问的是常识问题,通常可以直接问模型。但如果问题涉及一份指定文档,比如“《什么是 AI Agents》里怎么总结 Agent 的基础构件?”,模型不一定看得到这份文件。

这时可以先从文档里找到相关段落,再把它和问题一起发给模型:

读取文档 → 切分片段 → 检索相关片段
                       ↓
             片段 + 用户问题 → 模型回答

我们的 RAG Demo 就是这样工作的:启动时读取 HTML、切成文本片段;用户提问后,程序给片段打分,挑出匹配度最高的几段,再把它们拼进模型请求中。

代码先取出得分最高的三个片段,拼成上下文,再把上下文和原问题一起交给模型:

List<Hit> hits = retrieve(question, chunks, 3);
StringBuilder context = new StringBuilder();
for (int i = 0; i < hits.size(); i++) {
    Hit hit = hits.get(i);
    context.append("[片段 ").append(i + 1).append("] ")
           .append(hit.text).append("\n\n");
}

String answer = askModel(apiKey, baseUrl, model,
                         question, context.toString());

模型请求中的用户消息则把资料片段和问题放在一起:

messages.addObject()
    .put("role", "user")
    .put("content", "资料:\n" + context
            + "\n用户问题:" + question);

当前 Demo 用的是字符二元组重叠:把问题拆成相邻的两个字符,统计每个片段命中了多少组,再按命中比例排序。它只是一个帮助理解流程的简单算法,不是语义检索。比如“基础构件”和“基本组成”意思相近,但字面字符差异较大,简单匹配可能找不到。

实际项目可以把文档提前处理并建立索引,收到问题后只取相关的少量内容。检索的价值在于让模型回答时能够参考指定资料,而不是只依赖模型原本掌握的知识。

记忆:让模型能够接续对话

模型不会自动记住上一次 API 调用的内容。如果希望它接续之前的聊天,程序需要把对话历史再次放进请求中。

最简单的做法是保留消息列表。每次请求时,程序把这些历史消息和新问题一起发给模型,模型于是能根据上下文回答。

Demo 中,每次请求先把较早对话摘要放进 system 消息,再把近期历史逐条加入请求:

String system = "你是一个有短期对话记忆的助手。请结合本轮提供的记忆摘要和近期对话回答。"
        + (memory.summary.isEmpty() ? ""
        : "\n较早对话摘要:\n" + memory.summary);
messages.addObject().put("role", "system").put("content", system);

for (ChatMessage message : memory.messages) {
    messages.addObject()
        .put("role", message.role)
        .put("content", message.content);
}

但对话变长后,每次都提交全部历史会增加 token 消耗,也可能超过模型的上下文长度。我们的记忆 Demo 用了一个简单办法:保留最近几轮对话;较早的内容超过上限后,让模型压缩成摘要。

较早对话 → 摘要
近期对话 → 保留原文

摘要 + 近期对话 → 下一次模型请求

达到上限后,程序把较早对话交给模型生成新摘要,再用新摘要替换旧摘要并移除对应的旧消息:

if (memory.shouldCompress()) {
    String summary = summarize(apiKey, baseUrl, model, memory);
    memory.applySummary(summary);
}

上面的代码是压缩入口。Demo 在近期消息数超过上限时触发压缩,通常按完整的问答对处理,不把一轮对话拆开:

boolean shouldCompress() {
    return messages.size() > KEEP_RECENT_MESSAGES + 1;
}

int count = messages.size() - KEEP_RECENT_MESSAGES;
count = Math.max(2, count - (count % 2));

接着,summarize() 把要压缩的旧消息整理成对话文本,同时把已有摘要和旧对话一起发给模型。模型会在旧摘要基础上补充信息,而不是每次从零开始总结:

StringBuilder oldTranscript = new StringBuilder();
for (int i = 0; i < count; i++) {
    ChatMessage message = memory.messages.get(i);
    oldTranscript.append(message.role.equals("user") ? "用户:" : "助手:")
            .append(message.content).append('\n');
}

messages.addObject().put("role", "user").put("content",
        "已有摘要:\n" + memory.summary
                + "\n\n较早的对话:\n" + oldTranscript);
String newSummary = postChat(apiKey, baseUrl, body);

拿到新摘要后,程序保存它,并从消息列表中删除已经压缩的旧消息;最近几轮仍以原文保留:

summary = newSummary;
messages.subList(0, count).clear();

压缩后的摘要不是把对话逐字缩短,而是尽量保留后续还可能用到的信息,例如用户偏好、已确认的决定、当前任务和未完成事项。当前 Demo 将摘要和近期消息保存在 Java 进程的内存中,程序退出后就会清空;如果需要跨重启保留记忆,再将它们写入文件或数据库。

检索和记忆有什么区别?

两者都可能把信息放进模型上下文,但信息来源和用途不同:

能力 主要用途 例子
检索 从资料中找依据 查找 HTML 里的相关段落
记忆 延续之前的对话 记住已确认的决定

检索通常面对预先准备好的资料;记忆保存的是交互过程中值得后续使用的信息。工具则是执行计算、查询或其他动作。

把这些构件放回 Agent

工具、检索和记忆可以组合在一个 Agent 里,但不是每个问题都需要用到全部能力:

用户输入
   ↓
读取相关记忆
   ↓
需要参考资料时进行检索
   ↓
模型决定:直接回答,还是调用工具
   ↓
程序执行工具并回传结果
   ↓
模型生成回答
   ↓
更新记忆

如果下一步由模型根据问题和工具结果动态决定,流程就更接近 Agent;如果下一步始终由代码预先规定,则更接近 Workflow。

小结

  • 工具让模型可以请求程序执行操作。
  • 检索从外部资料中找出相关内容,交给模型参考。
  • 记忆让程序在后续请求中重新提供有用的对话信息。
  • 历史压缩能减少每次请求携带的对话内容,但摘要可能遗漏信息,需要根据实际用途设计。

这些 Demo 都刻意保持简单:计算器只处理基本运算,检索使用字面匹配,记忆只存在进程内。它们的目标是先看清楚数据如何流动,再逐步替换成更实用的实现。

下一步

接下来可以把计算器、文档检索和对话记忆组合进同一个 Agent,并打印每一步的输入、检索结果、工具调用和记忆变化。这样就能从三个独立 Demo 走向一个完整的小型 Agent。

什么是 AI Agents?

什么是 AI Agents?

2024 年底,Anthropic 发布了《Building effective agents》[1]一文,系统地讲述了如何构建基于 LLM 的 agent 应用。本文是我读这篇文章的笔记。

图片

“Agent”一词有多种用法:有些人把它理解为能长时间独立运行、自己用各种工具完成复杂任务的完全自主系统,另一些人则用它指沿着预先定义好的流程执行的实现。

Anthropic 不去争论哪种才算“真正的 agent”,而是把这些变体统称为 agentic system(智能体系统),再在内部划一条架构上的界线:

  • 工作流(workflow):LLM 和工具通过预先定义的代码路径编排。
  • Agent:LLM 动态指挥自己的流程和工具使用,掌控任务如何完成。

我的理解:agentic system、workflow 与 agent

理解了这条界线,再回头看日常语境,就容易分辨了。

我们日常熟悉的 agent,通常是“自己想办法把事办成的 AI”,比如 Claude Code 会自己读代码、改文件、跑测试,并根据报错继续修复。这类系统下一步做什么由模型决定,属于狭义的 agent。

相反,在 Coze、Dify 这类平台上拖拽搭出来的“智能体”,往往是固定的节点流程加上几次 LLM 调用。按 Anthropic 的标准,它们属于 workflow。但无论是 workflow 还是 agent,都归入 agentic system 这个大类。

因此,判断一个系统是 workflow 还是狭义的 agent,关键看控制权在谁手里:步骤由代码决定的是 workflow,由模型决定的是 agent。两者对比如下:

对比项 Workflow Agent
谁决定步骤 你的代码 模型
路径 固定,可预测 灵活,不确定
类比 你说怎么干就怎么干的员工 能自己想办法解决问题的员工

什么时候该用 agentic system

图片

分清了这几个概念,接下来的问题是:实际做项目时,真的需要用它们吗?文章的策略可以总结为一句话:先找最简单的方案,需要时再逐步升级。

Anthropic 建议,用 LLM 做应用时先找最简单的解决办法,只有确实需要时才增加复杂度,甚至可能根本不需要做 agentic system。原因是 agentic system 通常要拿延迟和成本去换更好的任务表现,所以要先想清楚这笔交换划不划算。

如果确实需要更复杂的方案,可以这样选择:

  • 任务定义清楚、需要可预测性和一致性时,用 workflow
  • 需要灵活性、需要模型在大规模场景下自己做决策时,才用 agent
  • 但对很多应用来说,把单次 LLM 调用优化好(加检索、加上下文示例)通常就够了

我的理解:升级阶梯

把上面的策略落到具体项目中,可以设置一个升级阶梯:从最简单的层级开始,只有当前层级无法满足需求时,才升到下一级。当然,复杂的项目可能各个层级都会用到。

层级 做法 适用情况
1 单次 LLM 调用 + 检索 + 示例 大多数应用到这里就够了
2 Workflow(固定的多步编排) 任务明确,要稳定、可预测
3 Agent(模型自己决定步骤) 步骤无法预先确定,需要灵活应对

怎么搭建 agentic system

确定了该用哪个层级,接下来就是动手实现。Anthropic 在文中也讲了何时、怎么使用框架。

图片

起步阶段可供选择的框架包括:Claude Agent SDK、Strands Agents SDK(AWS)、Rivet 和 Vellum。前两个是写代码用的 SDK,后两个是可视化工具。

框架的好处是上手快:它帮你调用 LLM、定义和解析工具、把多次调用串联起来。但它也有代价:通常会增加抽象层,遮住真实的提示词和模型返回,让调试变得困难,还容易诱使人在简单方案就够用时增加复杂度。

所以 Anthropic 建议:先直接用 LLM API,很多模式几行代码就能实现;如果用框架,一定要搞懂底层代码,因为对底层的错误假设是常见的出错来源。

常见的设计模式

无论是否使用框架,搭建时都会用到一些常见的设计模式。文章一共提出了 5 种 workflow 模式和 1 种 agent,它们都建立在同一个基础构件之上,所以先从这个构件讲起。

基础构件:增强型 LLM

图片

增强型 LLM 是 agentic system 最基本的构件,指的是被检索(retrieval)、工具(tools)和记忆(memory)增强过的 LLM。现在的模型能主动使用这些能力:自己生成搜索查询,自己挑选合适的工具,自己决定保留哪些信息。

图中三条双向虚线表示来回的交互:

能力 交互方式 作用
检索 Query / Results 从外部资料中查信息
工具 Call / Response 调用外部功能,如搜索、计算、读写文件
记忆 Read / Write 保存和读取需要留存的信息

实现这些增强能力时,Anthropic 建议抓住两点:一是按具体用例定制,二是给 LLM 提供简单、文档齐全的接口。其中一种做法是使用 Model Context Protocol(MCP)[2],通过一个简单的客户端接入不断增长的第三方工具生态。

需要注意的是,文章后面的所有模式,都默认每一次 LLM 调用已经具备这些能力。换句话说,下面每个模式里出现的“LLM”,其实都是一个增强型 LLM。

5 种 workflow 模式

在增强型 LLM 之上,把多次调用按预先定义的代码路径组织起来,就得到了 workflow。文章介绍了 5 种:

模式 一句话理解
Prompt chaining(提示链) 把任务拆成固定的先后步骤,上一步的输出是下一步的输入
Routing(路由) 先给输入分类,再分流到不同的专门流程
Parallelization(并行化) 多个 LLM 同时处理再汇总,包括分段(Sectioning)和投票(Voting)两种变体
Orchestrator-workers(编排者与执行者) 中心 LLM 动态拆分任务,分给多个执行者,再整合结果
Evaluator-optimizer(评估与优化) 一个 LLM 生成,另一个评估并反馈,循环改进

Agent

与上面 5 种不同,agent 不再依赖预先定义的流程:模型自己规划、调用工具,并根据环境反馈循环推进,直到完成任务。它是整个体系里控制权最彻底地交给模型的一类。

小结

  • 概念:agentic system 是总称,包含 workflow 和 agent 两类。区分标准只有一条:下一步做什么,是代码决定的,还是模型自己决定的。
  • 选型:先找最简单的方案,需要时再逐步升级。大多数应用,单次 LLM 调用加检索和示例就够了;任务明确、要求稳定时用 workflow;步骤无法预先确定时才用 agent。
  • 实现:先直接用 LLM API,搞懂底层后再考虑框架,避免被抽象层遮住提示词和模型返回。
  • 基础与模式:所有模式都建立在增强型 LLM(检索 + 工具 + 记忆)之上,在此基础上有 5 种 workflow 模式和 agent。

整篇文章的核心态度可以概括为:克制地使用复杂度。agent 不是越多越好,而是在简单方案确实不够时的选择。

下一步

了解完概念和模式,接下来该动手实践了:

  • 手写第一个最小 agent 循环
  • 给它加 2~3 个工具,并打印每一步日志
  • 逐个深入 5 种 workflow 模式,每种写一个小例子

参考文献

[1] Erik Schluntz, Barry Zhang. Building effective agents. Anthropic, 2024. https://www.anthropic.com/research/building-effective-agents

[2] Anthropic. Model Context Protocol. https://modelcontextprotocol.io

文中提到的框架与工具(出处同 [1]):Claude Agent SDK、Strands Agents SDK(AWS)、Rivet、Vellum。