汇总（上）· 大模型是什么 + 幻觉

从「一 · 大模型是什么」走到「二 · 幻觉：LLM 的先天局限」

「一 · 大模型是什么」先把问题落在「🧠 大模型是什么 三个必须掌握的底层认知 训练本质 LLM = 超大型概率预测机器 训练 = 在 海量文本 上反复预测下一个 Token，参数记住的是 统计规律 ，不是理解。推理时参数冻结，只做条件概率计算。 P( 下一个 Token | 所有已知 Token ) Token & 上下文窗口 Token ≠ 字 · Context Window 是「桌面」 中文每字约 1 Token，常用词更省，生僻字会多占几个…」上；到了「二 · 幻觉：LLM 的先天局限」，讨论继续推进到「👻 幻觉：LLM 的先天局限 不可消除，只能缓解 事实性幻觉 捏造不存在的事实、数据、引用 来源幻觉 引用了不存在的论文/链接/作者 推理幻觉 前提正确但推理步骤出错 代码幻觉 调用不存在的 API / 函数 根因一 参数知识有误 训练数据里本来就有错误信息；知识截止日期后的内容一无所知。 根因二 上下文理解偏差 Prompt 不清晰，模型只能猜意图；上下文矛盾时总是选最可能的续写，最可能不等于最准确。 关键认知…」。两段连起来，重点就不只是记住一个结论，而是看清它成立所依赖的条件。

把这条判断带到下一个场景

处理长文本时，先保留会改变结论的内容，再决定如何压缩格式和历史；上下文更长只有在新增信息真正有用时才值得付出代价。

• 「一 · 大模型是什么」：🧠 大模型是什么 三个必须掌握的底层认知 训练本质 LLM = 超大型概率预测机器 训练 = 在 海量文本 上反复预测下一个 Token，参数记住的是 统计规律 ，不是理解。推理时参数冻结，只做条件概率计算。 P( 下一个 Token | 所有已知 Token ) Token & 上下文窗口 Token ≠ 字 · Context Window 是「桌面」 中文每字约 1 Token，常用词更省，生僻字会多占几个…
• 「二 · 幻觉：LLM 的先天局限」：👻 幻觉：LLM 的先天局限 不可消除，只能缓解 事实性幻觉 捏造不存在的事实、数据、引用 来源幻觉 引用了不存在的论文/链接/作者 推理幻觉 前提正确但推理步骤出错 代码幻觉 调用不存在的 API / 函数 根因一 参数知识有误 训练数据里本来就有错误信息；知识截止日期后的内容一无所知。 根因二 上下文理解偏差 Prompt 不清晰，模型只能猜意图；上下文矛盾时总是选最可能的续写，最可能不等于最准确。 关键认知…

最后的「最后把结论落到实践」把讨论落到「训练本质 / Token / Base→SFT→Chat / 四种幻觉类型与根因」。回看这条线索时，最值得保留的是：当输入、规模或风险改变，哪些判断需要重新做一遍。