训练

Training

设定模型参数的过程：让模型接触海量文本，并调整参数以改进下一个 Token 预测。这是由模型提供商一次性完成的高成本过程。包含 pre-training（主体运行）和 post-training（后续优化，如指令遵循和安全）；在这个术语表的粒度上，两者的区别不重要。

机制是大规模重复：给模型看一段文本，让它预测下一个 Token，把参数朝实际下一个 Token 的方向轻推，然后在数万亿 Token 上重复。没有任何东西以事实或规则的形式被存储——模型所知的一切都是预测能力提升的副产品，被压缩进参数中，成为 parametric knowledge。

有两个后果在日常工作中很关键。训练会在某个时间点结束，所以模型有知识截止时间——它没见过你上个月升级到的那个库版本。而且训练不是你能做的事：当模型不了解你的代码库、你的约定或你的内部 API 时，解决办法绝不是教模型——而是把这些材料放进上下文里，这才是你能控制的输入。

用法：

“我们能让它了解我们的内部 API 吗？”

“不能通过训练——那是模型提供商要花数月的过程。把 API 文档加载进上下文吧，这才是你真正能动用的杠杆。”