动手实战 · 从能跑的 Demo 到能用的产品

一条消息背后的真实成本

用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识

本页解决的问题

先给结论

「一条消息背后的真实成本」要解决的关键问题是什么?

用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识

判断标准

让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。

下一步

写下一个问题:试完这个方法后,你能用什么证据回答它?

常见误区

结论听起来很完整,却没有检查最关键的假设。

选一个用户消息,看背后发生了什么
模拟用户发送的消息:
成本随复杂度指数增长

拖动滑块:任务复杂度 vs 成本

简单
横轴:成本组成 | 纵轴:token 消耗量
成本的大头在哪里?
System Prompt — 每轮都要重复发送,轮次越多重复消耗越大
Tool Results — 工具返回的文本通常很长(整个文件内容、搜索结果...)
上下文累积 — 后面的轮次要带上前面所有消息,滚雪球式增长
你的用户每说一句话,你的账单上可能多了 10 美分。知道成本在哪里,才能控制成本。Agent 的成本随轮次指数增长,远超线性:每一轮都要把之前所有内容重新发送给模型。

「选一个用户消息,看背后发生了什么」里的算法代价曲线

「用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识」真正训练的不是背诵步骤,而是识别重复工作:输入变大时,程序到底多做了多少次比较、移动或递归。

先找重复工作,再谈快慢

「用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识」可以拆成输入规模、每轮做什么、以及是否能缩小下一轮范围三个问题。Big-O 是描述增长趋势的语言,不是对每台机器的精确计时;常数、内存和真实数据分布也会影响最终结果。

别把理论最优当成无条件最优

面对 AI 写出的算法,先用小输入手算一遍,再用逐渐放大的数据做基准测试。这样才能把「用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识」从一句结论变成可检查的性能判断。

从「选一个用户消息,看背后发生了什么」走到「拖动滑块:任务复杂度 vs 成本」

「选一个用户消息,看背后发生了什么」先把问题落在「模拟用户发送的消息: 帮我查一下天气 分析这份 PDF 报告 帮我重构这个模块的代码 - 循环轮次 - API 消息数 - 总 Tokens - 预估成本」上;到了「拖动滑块:任务复杂度 vs 成本」,讨论继续推进到「复杂度 简单 横轴:成本组成 | 纵轴:token 消耗量 成本的大头在哪里? • System Prompt — 每轮都要重复发送,轮次越多重复消耗越大 • Tool Results — 工具返回的文本通常很长(整个文件内容、搜索结果...) • 上下文累积 — 后面的轮次要带上前面所有消息,滚雪球式增长 你的用户每说一句话,你的账单上可能多了 10 美分。知道成本在哪里,才能控制成本。 Agent 的成本随轮次指…」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。

把这条判断带到下一个场景

算法题换成真实任务后,先找出重复工作,再问输入规模如何变化,最后用一个小基准验证理论判断。这样不会把复杂度记成脱离场景的标签。

  • 「选一个用户消息,看背后发生了什么」:模拟用户发送的消息: 帮我查一下天气 分析这份 PDF 报告 帮我重构这个模块的代码 - 循环轮次 - API 消息数 - 总 Tokens - 预估成本
  • 「拖动滑块:任务复杂度 vs 成本」:复杂度 简单 横轴:成本组成 | 纵轴:token 消耗量 成本的大头在哪里? • System Prompt — 每轮都要重复发送,轮次越多重复消耗越大 • Tool Results — 工具返回的文本通常很长(整个文件内容、搜索结果...) • 上下文累积 — 后面的轮次要带上前面所有消息,滚雪球式增长 你的用户每说一句话,你的账单上可能多了 10 美分。知道成本在哪里,才能控制成本。 Agent 的成本随轮次指…

最后的「最后把结论落到实践」把讨论落到「用户发一句话,底层可能跑 10+ 轮循环、几十条 API 消息,由此建立成本意识」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 一条消息背后的真实成本 从能跑的 Demo 到能用的产品
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助