参数化知识
Parametric knowledge
模型从训练中“学到”并存储在参数中的知识。它在训练完成时就被冻结——模型无法查看或更新自己的参数。压缩过程中会丢失细节：数十亿条事实被塞进固定数量的参数，罕见信息会变得模糊。它既是模型面对常见主题时流畅作答的来源，也是面对冷门主题时编造内容的根源。与上下文知识相对应。
参数知识并不是以事实的形式存储的。训练不会给模型一个可供查询的数据库；它只是不断调整参数，直到模型能够准确预测文本。一个擅长预测某个主题相关文本的模型，表现得就像它了解这个主题。知识的可靠程度取决于相应内容在训练数据中出现的频率：出现过数百万个示例的主题可以被准确复现；只有寥寥几个示例的主题，模型就会根据相似主题的样子来猜测。对模型而言，复现与猜测是同一个过程，因此它无法判断自己正在做哪一种。编造的答案和正确答案一样流畅。幻觉就是模型猜错了。
参数知识也会过时。参数在知识截止时间后不再变化，因此在此日期之后发布或更名的库并不存在于参数中，发生过变更的 API 也只会以旧形式被记住。
无论缺口来自内容太冷门还是信息太新，补救方法都一样：这些知识无法加入参数，只能改为作为上下文知识提供给模型。
用法：
“它写 React 无可挑剔，却会在我们的内部 SDK 上编造方法。”
“React 在参数知识中非常密集——有数百万个训练示例。你们的 SDK 没有，所以模型会用看似合理的结构填补空白。把 SDK 文档加载到上下文中。”