搭建环境（GPU)

CUDA（Compute Unified Device Architecture，统一计算架构[1]）是由英伟达NVIDIA所推出的一种软硬件集成技术，是该公司对于GPGPU的正式名称。透过这个技术，用户可利用NVIDIA的GPU进行图像处理之外的运算，亦是首次可以利用GPU作为C-编译器的开发环境。CUDA 开发包（CUDA Toolkit ）只能将自家的CUDA C-语言（对OpenCL只有链接的功能[2]），也就是执行于GPU的部分编译成PTX 中间语言或是特定NVIDIA GPU架构的机器代码（NVIDIA 官方称为 "device code"）；而执行于中央处理器部分的C / C++代码（NVIDIA 官方称为 "host code"）仍依赖于外部的编译器。

安装 CUDA 12.2

CUDA Toolkit 12.2 Update 2 Downloads

https://developer.nvidia.com/cuda-12-2-2-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

安装 python 虚拟环境

python 其实是古老的语言，缺乏很多现代语言的特性，如 node.js 和 rust 的项目依赖隔离。默认所有项目的依赖装在一起，不同项目在依赖相同依赖的不同版本时很容易造成冲突。

python 虚拟环境很好的隔离了依赖。

Miniconda — Anaconda documentation

Miniconda is a free minimal installer for conda. It is a small bootstrap version of Anaconda that includes only conda, Python, the packages they both depend on, and a small number of other useful packages (like pip, zlib, and a few others). If you need more packages, use the conda install command to install from thousands of packages available by default in Anaconda’s public repo, or from other channels, like conda-forge or bioconda.

https://docs.anaconda.com/free/miniconda/

创建 python 3.10 的虚拟环境


conda deactivate
# 退出 base 环境，防止虚拟环境中创建虚拟环境
conda create -n LLMs-from-scratch-zh python=3.10
conda activate LLMs-from-scratch-zh

下载为 cuda 编译好的 pytorch

现在 ML 默认都是以 pytorch 来简化，其他库也都构建在其上。

因为是 python3.10 和 cuda12.2 , OS 是 windows，所以选择 cu121/torch-2.1.0%2Bcu121-cp310-cp310-win_amd64.whl

download.pytorch.org

https://download.pytorch.org/whl/torch_stable.html

版本

cu121/torch-2.1.0%2Bcu121-cp310-cp310-win_amd64.whl

安装 pytorch


pip install .\torch-2.1.0+cu121-cp310-cp310-win_amd64.whl

测试 pytorch 是否支持 gpu 加速


python
>>> import torch
# 很慢，毕竟 pytorch 有 2G
>>> print(torch.cuda.is_available())
True