开放权重、蒸馏与本地运行

一条可以继续验证的思路

在自己的机器上跑起来

这里有 2 篇文章,从一个词走向真实工作里的选择;先读懂,再决定要不要使用。

阅读线程开放
2篇札记
阅读方式先找到你卡住的地方,再顺着证据和取舍走

每篇可以独立阅读,也可以沿着这条线程继续。

开放权重、蒸馏与本地运行无需登录

本页解决的问题

先给结论

什么是「在自己的机器上跑起来」,它会影响哪些 AI 决策?

选显卡或 Mac 型号实时出结论;显存换算公式、量化档位与 MoE 的显存速度错位 本页把相关概念、常见误区和实践文章放在同一条阅读线程里。

判断标准

先判断你卡在定义、选择还是验证,再从下方 2 篇文章中选择最接近的一篇。

下一步

从「你的电脑能跑多大的模型」开始,读完后用自己的任务复述结论。

常见误区

不要把同一主题下的所有方法当成可互换方案;输入、风险和验收标准变化时,答案也会变化。

这条问题线程

把一个词放回它真正影响的选择里。

2 篇札记
交互

你的电脑能跑多大的模型

选显卡或 Mac 型号实时出结论;显存换算公式、量化档位与 MoE 的显存速度错位

开放权重、蒸馏与本地运行 3 min →
实战

Ollama 与 LM Studio 怎么上手

从安装到跑通的完整命令、模型标签的读法、量化档位怎么选,以及三个最常见的坑

开放权重、蒸馏与本地运行 3 min →