Harness 核心 · 模型周围的 Harness

总结(上)· 原理 + Harness

大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点

本页解决的问题

先给结论

「总结(上)· 原理 + Harness」要解决的关键问题是什么?

大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点

判断标准

让这个结论先证明自己值得留下。 把这一页当成决策工具,而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果,以及一个能改变你判断的失败上。

下一步

写下一个问题:试完这个方法后,你能用什么证据回答它?

常见误区

结论听起来很完整,却没有检查最关键的假设。

模块一
🧠
模块一 · 大模型是怎么来的
建立认知直觉,不被忽悠
核心认知 1
对话不是学习,参数是冻结的
训练结束后模型就定型了。你每次对话,模型不会记住、不会进步。AI 按 Token 计费,不按提问次数计费。
核心认知 2
幻觉是结构性问题,无法根除
模型做的是预测下一个 Token,不是查数据库。知识截止、自信编造、事实混淆,这三类幻觉只能缓解,不能消灭。
缓解方案
RAG:把真实文档塞进 Prompt
每次对话时把相关文档注入上下文,让它看着资料回答,这就是 RAG 的本质。模型并没有学会新知识。
常见误区:以为 AI 每次对话都在学习进步,越用越聪明
模块二
✍️
模块二 · Prompt 怎么写才管用
让 AI 按你要的输出,不是瞎猜
System Prompt
你说什么,它就变什么
System Prompt 定义角色、语气、约束。同一个模型,Prompt 不同,输出天差地别。这是 AI 产品差异化的核心杠杆。
Few-Shot 示例
给例子比讲道理管用
与其描述要怎么做,不如直接给 2-3 个输入→输出的示例。模型会从中推断你期望的格式和风格。
CoT 思维链
让模型先想再答,准确率更高
复杂任务加上「请一步步分析」,准确率显著提升。逼模型把推理过程写出来,再给答案。
常见误区:Prompt 越短越好。实际上描述越清晰,输出越稳定
课程总结 · 上半页 · 下半页:Agent + 成本 + 安全合规

「模块一」为什么能找到相关内容

「大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点」把检索问题从“把资料存起来”推进到“怎样找到真正相关的资料”。这一步决定了 RAG、推荐和以图搜图最后交给模型的输入质量。

相似度不是答案,召回之后还要核对

在「大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点」对应的流程里,Embedding 负责把对象放到可比较的语义空间,近邻索引负责减少搜索范围,最终的回答仍然依赖召回片段是否覆盖问题、距离指标是否合适,以及内容有没有过期。

先区分找得到和找得准

把「大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点」落成一次小测试:准备几条有明确答案的查询,记录召回的相关性、遗漏和无关结果,再决定是否需要换切分方式、索引或重排。

从「模块一」走到「模块二」

「模块一」先把问题落在「🧠 模块一 · 大模型是怎么来的 建立认知直觉,不被忽悠 核心认知 1 对话不是学习,参数是冻结的 训练结束后模型就定型了。你每次对话,模型 不会记住、不会进步 。AI 按 Token 计费,不按提问次数计费。 核心认知 2 幻觉是结构性问题,无法根除 模型做的是 预测下一个 Token ,不是查数据库。知识截止、自信编造、事实混淆,这三类幻觉只能缓解,不能消灭。 缓解方案 RAG:把真实文档塞进 Prompt 每…」上;到了「模块二」,讨论继续推进到「✍️ 模块二 · Prompt 怎么写才管用 让 AI 按你要的输出,不是瞎猜 System Prompt 你说什么,它就变什么 System Prompt 定义角色、语气、约束。 同一个模型,Prompt 不同,输出天差地别 。这是 AI 产品差异化的核心杠杆。 Few-Shot 示例 给例子比讲道理管用 与其描述要怎么做,不如 直接给 2-3 个输入→输出的示例 。模型会从中推断你期望的格式和风格。 CoT 思维…」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。

把这条判断带到下一个场景

检索系统也可以这样看:先确定什么算相关,再观察召回是否覆盖问题,最后检查排序、切分和时效性有没有把真正有用的内容挤出去。

  • 「模块一」:🧠 模块一 · 大模型是怎么来的 建立认知直觉,不被忽悠 核心认知 1 对话不是学习,参数是冻结的 训练结束后模型就定型了。你每次对话,模型 不会记住、不会进步 。AI 按 Token 计费,不按提问次数计费。 核心认知 2 幻觉是结构性问题,无法根除 模型做的是 预测下一个 Token ,不是查数据库。知识截止、自信编造、事实混淆,这三类幻觉只能缓解,不能消灭。 缓解方案 RAG:把真实文档塞进 Prompt 每…
  • 「模块二」:✍️ 模块二 · Prompt 怎么写才管用 让 AI 按你要的输出,不是瞎猜 System Prompt 你说什么,它就变什么 System Prompt 定义角色、语气、约束。 同一个模型,Prompt 不同,输出天差地别 。这是 AI 产品差异化的核心杠杆。 Few-Shot 示例 给例子比讲道理管用 与其描述要怎么做,不如 直接给 2-3 个输入→输出的示例 。模型会从中推断你期望的格式和风格。 CoT 思维…

最后的「最后把结论落到实践」把讨论落到「大模型认知框架 / 幻觉应对 / Prompt 与 Agent 核心要点」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 总结(上)· 原理 + Harness 模型周围的 Harness
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助