核心引擎
- Transformer 架构
- 注意力机制
- 嵌入词向量 Embedding
S01·E04 · The One About 大模型
大模型时代
2017 至今 · 这就是当下
让机器理解上下文，生成像人写的内容。Transformer 是引擎，LLM 是产物——你每天用的 Claude、ChatGPT 都在这层。
核心产物
- 基础模型 Foundation Model
- 大语言模型 LLM
- ChatGPT
- Claude
怎么造出来
- 模型参数
- 数据集
- 数据标注
- 预训练
- 微调
- RLHF 人类反馈强化训练要求
怎么验收
- 模型评测
附带概念
- 无限猴子定理
💼 对照你的工作
你用 Claude 起标题、ChatGPT 改播客大纲——都在调用 LLM
把你 100 期播客文稿喂进去训出"你的专属 AI"——叫微调
ChatGPT 一夜爆红背后的秘密——预训练 + RLHF