专题篇章
开放权重、蒸馏与本地运行
区分开放权重与开源,在部署前读懂许可证,再判断蒸馏、硬件和本地服务的取舍。最后落到一个问题:你的电脑究竟能跑多大的模型。
专题篇章09篇札记
本页解决的问题
先给结论「开放权重、蒸馏与本地运行」AI 学习路径适合解决什么问题?
区分开放权重与开源,在部署前读懂许可证,再判断蒸馏、硬件和本地服务的取舍。最后落到一个问题:你的电脑究竟能跑多大的模型。 路线包含 9 篇免费札记,每篇聚焦一个可以独立搜索、理解和验证的问题。
判断标准
核心主题包括:开源到底开的是什么、大模型如何变小、在自己的机器上跑起来。
下一步
从「权重是什么?一个模型的全部本事」开始,再按当前任务选择下一篇。
常见误区
不要为了完成目录而跳过实践;能用自己的例子解释一个取舍,比读完更多标题更重要。
这条路径会练什么
从第一篇打开
每个章节都围绕一类真实决策展开。可以顺着走,也可以从正在处理的工作切入。
01权重是什么?一个模型的全部本事训练几个月最后凝结成的那个文件:它长什么样、多大、为什么说拥有权重就是拥有控制权↗02真开源 vs 假开源:怎么看懂一张许可证三个问题定位开放程度;用同一套尺子横量 Qwen、Mistral、DeepSeek、Llama 与只给 API 的模型↗03开源是一门生意:各家在图什么六家厂商的开源策略与变现路径;衍生模型数量为什么比下载量更能说明问题↗04涌现:能力为什么会突然出现跨过某个规模阈值后能力阶跃式跳升;以及这个现象在学术上尚存的争议↗05为什么要把模型做小成本、速度、私有化三个现实动机,和小模型做不到的那些事↗06蒸馏是怎么做的:从老师到学生五步流程、软标签与温度系数;用 DeepSeek-R1 同批开源的六个蒸馏模型做样本↗07蒸馏的代价:模型正在变得越来越像口癖、格式怪癖与身份混淆的整批继承;为什么多模型交叉验证可能是假的↗08你的电脑能跑多大的模型选显卡或 Mac 型号实时出结论;显存换算公式、量化档位与 MoE 的显存速度错位↗09Ollama 与 LM Studio 怎么上手从安装到跑通的完整命令、模型标签的读法、量化档位怎么选,以及三个最常见的坑↗