AI Fundermentals

相关硬件知识

• PCIe 知识大全
• NVLink 入门
• NVIDIA DGX SuperPOD：下一代可扩展的AI领导基础设施

深入理解 GPU 架构

在准备在 GPU 上运行的应用程序时，了解 GPU 硬件设计的主要特性并了解与 CPU 的相似之处和不同之处会很有帮助。本路线图适用于那些对 GPU 比较陌生或只是想了解更多有关 GPU 中计算机技术的人。不需要特定的并行编程经验，练习基于 CUDA 工具包中包含的标准 NVIDIA 示例程序。

• GPU 特性
• GPU 内存
• GPU Example: Tesla V100
• GPUs on Frontera: RTX 5000
• 练习：
  • Exercise: Device Query
  • Exercise: Device Bandwidth

GPU 架构和编程模型介绍

• GPU Architecture and Programming — An Introduction

其他相关知识点

• 深入理解 Nvidia CUDA 核心（vs. Tensor Cores vs. RT Cores)

CUDA 学习材料

快速入门

• 并行计算、费林分类法和 CUDA 基本概念
• CUDA 编程模型入门
• CUDA 并发编程之 Stream 介绍

参考资料

• CUDA Reading Group 相关讲座: GPU Mode Reading Group
• 《CUDA C++ Programming Guide》
• 《CUDA C 编程权威指南》：书中示例代码
• Nvidia 官方 CUDA 是示例
• 《CUDA 编程：基础与实践 by 樊哲勇》
  • 学习笔记
  • 示例代码
• 《CUDA 编程简介: 基础与实践 by 李瑜》
• 《CUDA 编程入门》 - 本文改编自北京大学超算队 CUDA 教程讲义
• Multi GPU Programming Models
• CUDA Processing Streams

监控与运维

• nvidia-smi 入门
• nvtop 入门
• Nvidia GPU XID 故障码解析
• Nvidia GPU 卡 之 ECC 功能
• 查询 GPU 卡详细参数
• Understanding NVIDIA GPU Performance: Utilization vs. Saturation (2023)
• GPU Utilization is a Misleading Metric

性能分析与调优

• 使用 Nsight Compute Tool 分析 CUDA 矩阵乘法程序
• CUDA Kernel Profiling using Nvidia Nsight Compute

LLM 基础

AI Infra

• 高性能 GPU 服务器硬件拓扑与集群组网
• NVIDIA GH200 芯片、服务器及集群组网
• 深度学习（大模型）中的精度

深度学习/机器学习

• 《机器学习系统：设计和实现》
• 《动手学深度学习》

LLM 训练

从零开始训练 70B 模型

• Training a 70B model from scratch: open-source tools, evaluation datasets, and learnings
• Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model
• From bare metal to a 70B model: infrastructure set-up and scripts
• Open-sourcing CARBS: how we used our hyperparameter optimizer to scale up to a 70B-parameter language model