CUDA（Compute Unified Device Architecture，统一计算架构[1]）是由英伟达NVIDIA所推出的一种软硬件集成技术，是该公司对于GPGPU的正式名称。透过这个技术，用户可利用NVIDIA的GPU进行图像处理之外的运算，亦是首次可以利用GPU作为C-编译器的开发环境。CUDA 开发包（CUDA Toolkit ）只能将自家的CUDA C-语言（对OpenCL只有链接的功能[2]），也就是执行于GPU的部分编译成PTX中间语言或是特定NVIDIA GPU架构的机器代码（NVIDIA 官方称为 “device code”）；而执行于中央处理器部分的C / C++代码（NVIDIA 官方称为 “host code”）仍依赖于外部的编译器。

安装 CUDA 13

安装 python 虚拟环境

python 其实是古老的语言，缺乏很多现代语言的特性，如 node.js 和 rust 的项目依赖隔离。默认所有项目的依赖装在一起，不同项目在依赖相同依赖的不同版本时很容易造成冲突。 python 虚拟环境很好的隔离了依赖。

创建 python 3.10 的虚拟环境

conda deactivate
# 退出 base 环境，防止虚拟环境中创建虚拟环境
conda create -n LLMs-from-scratch-zh python=3.10
conda activate LLMs-from-scratch-zh

安装 pytorch

pip install torch==2.11.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128 --no-cach

测试 pytorch 是否支持 gpu 加速

python
>>> import torch
# 很慢，毕竟 pytorch 有 2G
>>> print(torch.cuda.is_available())
True

python -c "import torch; print('版本:', torch.__version__); print('CUDA状态:', torch.cuda.is_available())"