Intro

基于深度学习系统课程

背景

深度学习方法近年来在人工智能和机器学习领域中引起了革命性的变革。易于使用的深度学习系统，如PyTorch和TensorFlow的广泛普及，不无助于推动深度学习方法的广泛应用。但尽管这些库的广泛可用性和使用，学生们很少涉足这些库的内部，了解它们在基本层面上的工作原理。然而，深入了解这些库将帮助更好地利用其功能，并使我们能够在需要时开发或扩展这些库以适应自己的深度学习定制用例。

本课程的目标是为学生提供深度学习系统“全栈”的理解和概述，从现代深度学习系统的高级建模设计到自动微分工具的基本实现，再到有效算法的底层设备级实现。在整个课程中，学生将从零开始设计和构建一个完整的深度学习库，能够进行高效的基于GPU的操作，对所有实现的函数进行自动微分，并提供必要的模块来支持参数化层、损失函数、数据加载器和优化器。利用这些工具，学生将构建几种最先进的建模方法，包括用于图像分类和分割的卷积网络、用于序列任务（如语言建模）的递归网络和自注意模型，以及用于图像生成的生成模型。

课程项目

课程项目主要包括编程作业作为家庭作业，其中有四个主要家庭作业（加上一个介绍性作业），以及一个最终项目。

通过这四个作业，学生将构建一个基本的深度学习库，可与非常简化版的PyTorch或TensorFlow相媲美，并可扩展到相当大的系统（例如，具有操作的快速GPU实现）。