跳到主要内容
步芽

【极致中配】卡内基梅隆大学 CMU 10-414/714 深度学习系统｜2022年秋季

CMU研究生课程，带你从零构建一个类PyTorch的深度学习系统：自动微分、优化、算子、GPU加速，直到CNN/RNN/Transformer及模型部署。

难度
难度 5/5 — 研究生课程，需从零手写自动微分与深度学习框架，涉及GPU加速与算子实现
适合人群
有ML与编程基础、想深入理解并亲手实现深度学习框架的高年级本科生/研究生
前置要求
Python 编程（能熟练实现较复杂的库与数据结构）、线性代数与微积分（矩阵运算、梯度与链式法则）、机器学习基础（了解 softmax 回归、神经网络等基本概念）、C++/CUDA 基础（硬件加速与 GPU 编程部分需要，非强制）
课程规模
24 讲 · 1325播放
在 B 站免费观看 →就这门课提问 →排进我的学习路线

主题覆盖

自动微分全连接网络优化与初始化归一化与正则化卷积网络硬件与GPU加速算子实现大模型训练生成对抗网络循环神经网络Transformer与注意力模型部署与编译

课程大纲（24 讲）

  1. P1 · Lecture 1 - Introduction and Logistics39 分钟
  2. P2 · Lecture 2 - ML Refresher / Softmax Regression54 分钟
  3. P3 · Lecture 3 (Part I) - "Manual" Neural Networks35 分钟
  4. P4 · Lecture 3 (Part II) - "Manual" Neural Networks31 分钟
  5. P5 · Lecture 4 - Automatic Differentiation40 分钟
  6. P6 · Lecture 5 - Automatic Differentiation Implementation42 分钟
  7. P7 · Lecture 6 - Fully connected networks, optimization, initialization53 分钟
  8. P8 · Lecture 7 - Neural Network Abstractions37 分钟
  9. P9 · Lecture 8 - Neural Network Library Implementation35 分钟
  10. P10 · Lecture 9 - Normalization and Regularization51 分钟
  11. P11 · Lecture 10 - Convolutional Networks44 分钟
  12. P12 · Lecture 11 - Hardware Acceleration29 分钟
  13. P13 · Lecture - 12 GPU Acceleration29 分钟
  14. P14 · Lecture 13 - Hardware Acceleration Implemention33 分钟
  15. P15 · Lecture 14 - Implementing Convolutions51 分钟
  16. P16 · Lecture 15 - Training Large Models30 分钟
  17. P17 · Lecture 16 - Generative Adversarial Networks24 分钟
  18. P18 · Lecture 17 - Generative Adversarial Networks Implementation24 分钟
  19. P19 · Lecture 18 - Sequence Modeling and Recurrent Networks46 分钟
  20. P20 · Lecture 19 - RNN Implementation34 分钟
  21. P21 · Lecture 20 - Transformers and Attention43 分钟
  22. P22 · Lecture 21 - Transformer Implementation38 分钟
  23. P23 · 23 - Model Deployment27 分钟
  24. P24 · 24 - Machine Learning Compilation and Deployment Implementation23 分钟

本课程卡由 AI 生成，可能存在误差，欢迎反馈。