GPT 的跃进：PreTraining 改变一切

从「大模型发展史」走到「算法交互体验：亲手感受四代模型的差异」

「大模型发展史」先把问题落在「在 GPT 之前，大家都在做 任务专用模型 。 GPT 的出现，是一次跃进 CNN、RNN、BERT，都是先确定任务再训练模型。 GPT 反过来了： 先用海量语料做预训练，再适配任务。 之前 CNN / RNN / BERT → 跃进 GPT（PreTraining） PreTraining 的本质 用互联网上 几乎所有的文字 做 Token 预测训练， 模型被迫学会了语法、常识、事实、逻辑、风格… 这一切都只是预测…」上；到了「算法交互体验：亲手感受四代模型的差异」，讨论继续推进到「CNN 滑动窗口 RNN 记忆衰减 BERT 双向注意力 GPT 因果生成 窗口大小 3 ← 向左 向右 → CNN 的局限： 只能看窗口内的词，窗口外的关系完全看不到。 「哥哥」和句首「紫霞」的关系？CNN 无法在一步内捕捉。 各词残留记忆强度（当 RNN 处理到当前词时） ← 越早的词，记忆越弱；当前处理词 = 100% RNN 的局限： 隐状态每步被新词覆盖，越早的词记忆越模糊。处理长文本时「梯度消失」：开头的…」。两段连起来，重点就不只是记住一个结论，而是看清它成立所依赖的条件。

把这条判断带到下一个场景

算法题换成真实任务后，先找出重复工作，再问输入规模如何变化，最后用一个小基准验证理论判断。这样不会把复杂度记成脱离场景的标签。

• 「大模型发展史」：在 GPT 之前，大家都在做 任务专用模型 。 GPT 的出现，是一次跃进 CNN、RNN、BERT，都是先确定任务再训练模型。 GPT 反过来了： 先用海量语料做预训练，再适配任务。 之前 CNN / RNN / BERT → 跃进 GPT（PreTraining） PreTraining 的本质 用互联网上 几乎所有的文字 做 Token 预测训练， 模型被迫学会了语法、常识、事实、逻辑、风格… 这一切都只是预测…
• 「算法交互体验：亲手感受四代模型的差异」：CNN 滑动窗口 RNN 记忆衰减 BERT 双向注意力 GPT 因果生成 窗口大小 3 ← 向左 向右 → CNN 的局限： 只能看窗口内的词，窗口外的关系完全看不到。 「哥哥」和句首「紫霞」的关系？CNN 无法在一步内捕捉。 各词残留记忆强度（当 RNN 处理到当前词时） ← 越早的词，记忆越弱；当前处理词 = 100% RNN 的局限： 隐状态每步被新词覆盖，越早的词记忆越模糊。处理长文本时「梯度消失」：开头的…

最后的「最后把结论落到实践」把讨论落到「CNN / RNN / BERT / GPT 四种算法可交互对比，记忆衰减可视化」。回看这条线索时，最值得保留的是：当输入、规模或风险改变，哪些判断需要重新做一遍。