Agent 的 Token 账单怎么省:Prompt Caching、上下文瘦身与模型分级

Agent 的 Token 账单怎么省:Prompt Caching、上下文瘦身与模型分级做 Agent 的人,大概都经历过这么一个时刻:功能调通了,效果也还行,兴冲冲地跑了一批真实任务,然后打开账单页面,沉默了 同样是调用大模型,Agent 为什么比普通聊天贵这么多?钱都花在哪了?能不能在不明显影响效果的前提下省下来?这篇文章想把这笔账算清楚,再聊几种我觉得性价比最高的省钱办法 先声明一下:各家模型的价格和缓存规则变得很快,文中涉及的具体规则,以我写作时(2026 年 10 月)看到的官方文档为准,你落地之前最好再核对一遍 思路是通用的,数字请以官方为准 图片来源:Negative Space / StockSnap(CC0 1.0) 普通聊天,一问一答,输入的就是你的问题加上一些历史
Agent 的 Token 账单怎么省:Prompt Caching、上下文瘦身与模型分级2026-10-14鱼鱼

长任务 Agent 的断点续跑:Checkpoint、幂等与人工审批怎么落地

长任务 Agent 的断点续跑:Checkpoint、幂等与人工审批怎么落地一个 Agent 跑到第 37 步,这时候部署系统滚动发布,Pod 被重启了 或者模型接口突然开始返回 429,重试几次之后放弃了 又或者它走到“给客户发邮件”这一步,按规定要等主管审批,而主管这会儿在开会,三个小时后才能看手机 这些时候你该怎么办?从头再跑一遍吗? 前 36 步花掉的 token 和时间先不说,更要命的是,前面那些步骤里,如果有“发了邮件”“建了工单”“扣了款”这种动作,从头再跑就意味着再发一次、再建一次、再扣一次 Demo 阶段的 Agent 很少考虑这些,因为 Demo 跑一次也就几十秒 但只要你的 Agent 开始处理真实的长任务,这个问题迟早会找上门 这篇文章想聊聊我对这个问题的理解,以及一个能落地的最小实现
长任务 Agent 的断点续跑:Checkpoint、幂等与人工审批怎么落地2026-10-14鱼鱼

什么是 AI Agent?从 ReAct 循环讲起

什么是 AI Agent?从 ReAct 循环讲起最近一年,“Agent”这个词几乎出现在每一篇 AI 文章里 但很多人写了半天 Agent,其实只是把一个大模型接口包了层壳 这篇文章从最小的模型出发,讲清楚 Agent 到底是什么,以及它的核心运行机制——ReAct 循环 读完之后,你应该能回答三个问题:Agent 和普通聊天有什么本质区别?一个 Agent 的每一步到底在发生什么?怎样用几十行代码搭出一个能跑的最小 Agent,并知道它会在哪里出问题? ReAct 循环:思考 → 行动 → 观察,直到给出最终答案 早期使用大模型,基本是“一问一答”:把问题写进提示词,模型返回一段文字 这种方式对写文案、翻译、解释概念很好用,但一遇到下面这些需求就力不从心:
什么是 AI Agent?从 ReAct 循环讲起2026-10-14鱼鱼

工具调用(Function Calling)怎么设计才好用

工具调用(Function Calling)怎么设计才好用Agent 能不能“动手”,取决于工具调用 很多团队发现:模型明明够聪明,却总是选错工具、传错参数 问题往往不在模型,而在 工具设计 这篇文章从背景出发,讲清楚工具调用的完整流程,总结六条实用的设计原则,给出 Python 与 Java 两套防御式代码,并列出常见坑和检查清单 一次 Function Calling 的完整往返:模型只提请求,程序负责执行 大模型只能输出文字 让它“查天气”“下订单”“读数据库”,中间必须有一层翻译:模型用结构化的方式说出“我想做什么”,你的程序把它变成真实的函数调用 这一层翻译的质量,取决于你给模型的“说明书”写得怎么样 可以做个类比:工具定义之于模型,就像 API 文档之于新入职的后端同事
工具调用(Function Calling)怎么设计才好用2026-10-14鱼鱼

Agent 记忆系统:短期记忆、长期记忆与向量库

Agent 记忆系统:短期记忆、长期记忆与向量库大模型本身是“无状态”的:每次请求都是一次全新的开始 Agent 之所以看起来“记得”你,是因为工程上做了 记忆系统 这篇文章梳理记忆的分类、常见实现方式、存储选型,并用可运行的代码演示短期记忆的摘要压缩与长期记忆的写入、召回,最后总结踩坑点和检查清单 记忆的三个层次:短期、长期与经验记忆 先看三个很常见的场景: 场景 A:用户上周说过“我的项目用 Java 17,不要给我 Java 8 的写法” 这周开新会话,Agent 又给出了 Java 8 的代码 用户会觉得“它根本不记得我” 场景 B:一个长任务跑了 40 步,到后半段 Agent 忘了最开始的约束“不要修改生产配置”
Agent 记忆系统:短期记忆、长期记忆与向量库2026-10-14鱼鱼

Agent 的规划与任务分解:让复杂任务可控

Agent 的规划与任务分解:让复杂任务可控简单问题一两步就能搞定,但“调研三个竞品并写一份对比报告”这类任务,如果让模型边想边做,很容易跑偏、遗漏或重复 规划(Planning) 就是让 Agent 在动手之前,先把大任务拆成可执行的小步骤 本文从动机讲起,比较三种常见规划模式,给出结构化计划的数据格式,以及一个带依赖调度、失败重试和重规划的完整 Python 示例,并附上 Java 版的计划模型、常见坑和检查清单 三种规划模式:ReAct、Plan-and-Execute 与层次化分解 回忆一下 ReAct:模型每一步只决定“下一步做什么” 这在短链路任务里很灵活,但当任务变长,会出现几类典型问题: 目标漂移:做到第 10 步,模型被中间的工具结果带偏,开始回答另一个问题;
Agent 的规划与任务分解:让复杂任务可控2026-10-14鱼鱼

多智能体协作的几种常见模式

多智能体协作的几种常见模式一个 Agent 不够用时,自然会想到“多找几个 Agent 分工” 但多智能体并不是数量越多越好——它带来分工优势的同时,也带来了通信成本、调试难度和 token 开销 本文梳理几种常见协作模式及其适用场景,给出主管—工人、评审循环的 Python 示例和 Java 版的消息结构,并总结常见坑、检查清单与 FAQ 从“大而全”的单个 Agent 到“小而专”的分工 单 Agent 加工具,已经能解决很大一类问题 但随着任务变复杂,常见瓶颈会逐渐出现: 上下文被挤满:几十个工具的说明、长长的历史、大量检索结果挤在一个窗口里,模型注意力被稀释; 角色冲突:同一个提示词里既要求“大胆创作”又要求“严格挑错”,两种要求互相拉扯;
多智能体协作的几种常见模式2026-10-14鱼鱼
网站地图
3
首页 博客 {{screen}} 第 {{page}} 页
博客索引
{{blog.createDate}} ◔ {{blog.timeline}} 小头像 {{blog.author}} {{tag}}
{{blog.likeCount}}{{blog.commentCount}}
分类下暂时没有文章哦!
主题分类
{{taggroup.label}} 

{{tag.value}}