【极致配音】4K画质 Andrej Karpathy 从头构建大语言模型 系列
Karpathy 手把手从零用代码构建 GPT：涵盖 Transformer、分词器、GPT-2 复现，并深入讲解 ChatGPT 类模型的原理与实际使用。
- 难度
- 难度 4/5 — 需要深度学习与编程基础，从零手写GPT代码，涉及大量数学与工程细节
- 适合人群
- 有编程与深度学习基础、想彻底搞懂大语言模型内部原理的学习者
- 前置要求
- Python 编程（能读写并调试较复杂代码）、PyTorch（张量运算与自动求导基础）、神经网络基础（反向传播、梯度下降）、线性代数与微积分（矩阵运算、求导）
- 课程规模
- 6 讲 · 5177播放
主题覆盖
从零构建GPTTransformer架构自注意力机制分词器BPEGPT-2复现大语言模型入门LLM工作原理ChatGPT深入解析模型训练语言模型使用技巧
课程大纲（6 讲）
- P1 · Let's build GPT: from scratch, in code, spelled out.77 分钟
- P2 · [1hr Talk] Intro to Large Language Models40 分钟
- P3 · Let's build the GPT Tokenizer88 分钟
- P4 · Let's reproduce GPT-2 (124M)157 分钟
- P5 · Deep Dive into LLMs like ChatGPT138 分钟
- P6 · How I use LLMs83 分钟
本课程卡由 AI 生成，可能存在误差，欢迎反馈。