蒸馏的代价：模型正在变得越来越像
口癖、格式怪癖与身份混淆的整批继承；为什么多模型交叉验证可能是假的
本页解决的问题
先给结论「蒸馏的代价：模型正在变得越来越像」要解决的关键问题是什么？
口癖、格式怪癖与身份混淆的整批继承；为什么多模型交叉验证可能是假的
让这个结论先证明自己值得留下。 把这一页当成决策工具，而不是需要背下来的定义。把概念连到一个真实任务、一个可观察结果，以及一个能改变你判断的失败上。
写下一个问题：试完这个方法后，你能用什么证据回答它？
结论听起来很完整，却没有检查最关键的假设。
蒸馏别人家的模型是否越界，目前没有共识，但已经有公开的指控。
Anthropic 曾公开表示，发现有厂商对 Claude 进行「工业级规模」的蒸馏。OpenAI 也曾指控 DeepSeek 通过蒸馏 GPT 系列获取能力。这些都是一方的指控，被指控方并未承认，也没有第三方机构给出裁定。放在这里是为了说明一件事：这个领域的边界还在形成中，各家的服务条款大多禁止用自家输出去训练竞品，但技术上很难取证。
口癖被整批继承
某些句式在一个头部模型上高频出现，之后就在大量模型里同时冒出来，成了识别 AI 写作的指纹。
「让我们深入探讨一下这个话题」
「值得注意的是，这里有几个关键点」
格式怪癖被继承
有的模型习惯在中文里给名词补上英文标注，学它的模型也跟着这么写，哪怕场景完全不需要。
连身份都学过去了
最直白的一种。问一个模型它是谁，它报出的可能是老师的名字。
模型：我是 ChatGPT，由 OpenAI 开发…（实际上它是另一家公司的产品）
这一章前面提到过，某个开源系列的衍生模型数量已经超过 20 万个。从生态角度看这是影响力的证明，但换个角度看，它同时意味着 20 万个模型共享同一批底层假设。
底座模型里的偏见、知识盲区、表达倾向，会沿着蒸馏链条一层层传下去。上游改一个训练策略，下游几万个模型跟着变。这种结构在软件工程里有个熟悉的名字：单点依赖。
这话听着像杞人忧天，直到你自己试一次。下面这六个产品是我编出来的——名字、公司、宣传全是假的，别去搜，搜不到。编它们是为了让你先按平时的思路挑一遍：真到了选型的时候，你面前也只有名字和宣传，底座是什么并不写在产品页上。
选型时查一下血缘
模型卡里通常会写明底座是什么。做多模型冗余设计时，优先选底座不同的组合，而不是只看厂商名字不同。
产品差异化别建在模型层
如果你的竞争力来自「我们的回答质量更好」，而大家用的模型血缘相近，这个优势不牢固。真正的差异通常来自数据、工作流和对场景的理解。
把口癖当成需要治理的问题
如果你的产品有品牌调性要求，默认输出大概率会带着上游的表达习惯。这要靠提示词约束和后处理去改，指望换个模型解决通常没用，因为它们都这样。
这一章前半段讲清楚了开源是什么、模型怎么变小、代价在哪里。接下来两节动手：先算清楚你的机器能跑多大的模型，再把它真正跑起来。
「先看研究怎么说」要放回选型约束
「Anthropic 曾公开表示，发现有厂商对 Claude 进行「工业级规模」的蒸馏。OpenAI 也曾指控 DeepSeek 通过蒸馏 GPT 系列获取能力。」说明，模型、许可证、接入方式和榜单都只是信息，不是脱离场景的答案。真正的选择取决于任务、数据边界、延迟、质量下限和运行成本。
先写淘汰条件，再看最高分
「某些句式在一个头部模型上高频出现，之后就在大量模型里同时冒出来，成了识别 AI 写作的指纹」涉及的比较，至少要使用同一组真实输入，并同时观察正确性、失败方式、响应时间和费用。一个在公开榜单上领先的模型，可能因为许可证、隐私要求或峰值延迟不适合你的任务。
没有测试集，就没有可靠的赢家
以「这一章前半段讲清楚了开源是什么、模型怎么变小、代价在哪里。接下来两节动手：先算清楚你的机器能跑多大的模型，再把它真正跑起来」为起点，选几条真正会影响决策的输入，写下一个会改变选择的反例；这比记住一次排名更能支持下一次判断。
从「先看研究怎么说」走到「行业里公开的争议」
「先看研究怎么说」先把问题落在「Generative Monoculture in Large Language Models Wu & Black · arXiv:2407.02209 · 2024 研究发现，多个模型基于相同底座蒸馏之后， 输出的多样性显著下降 。在书评撰写、代码生成这类本该有很多种合理答案的任务上，不同模型给出的结果高度趋同。作者用「单一文化」形容这个状态。 Measuring and Understanding LLM Id…」上；到了「行业里公开的争议」，讨论继续推进到「蒸馏别人家的模型是否越界，目前没有共识，但已经有公开的指控」。两段连起来，重点就不只是记住一个结论，而是看清它成立所依赖的条件。
把这条判断带到下一个场景
做模型选择时，先用真实任务写出不能妥协的条件，再用同一组输入比较质量、失败方式、延迟、许可和成本；榜单只适合作为起点。
- 「先看研究怎么说」：Generative Monoculture in Large Language Models Wu & Black · arXiv:2407.02209 · 2024 研究发现，多个模型基于相同底座蒸馏之后， 输出的多样性显著下降 。在书评撰写、代码生成这类本该有很多种合理答案的任务上，不同模型给出的结果高度趋同。作者用「单一文化」形容这个状态。 Measuring and Understanding LLM Id…
- 「行业里公开的争议」：蒸馏别人家的模型是否越界，目前没有共识，但已经有公开的指控
- 「最后的要点」：如果你的竞争力来自「我们的回答质量更好」，而大家用的模型血缘相近，这个优势不牢固。真正的差异通常来自数据、工作流和对场景的理解
最后的「最后的要点」把讨论落到「如果你的竞争力来自「我们的回答质量更好」，而大家用的模型血缘相近，这个优势不牢固。真正的差异通常来自数据、工作流和对场景的理解」。回看这条线索时，最值得保留的是：当输入、规模或风险改变，哪些判断需要重新做一遍。
我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是，知道下一步要观察什么。
读完以后我先回头找它成立的条件，而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。
如果把这个判断放到真实工作里，最先需要补的约束是什么？我想知道从阅读到第一次实践之间，哪一步最值得先做。
还没有这篇文章的讨论。