Buhe Blog - Microsoft Internet Explorer

一步步训练自己的中文 LLM


训练数据只有中文。 搭建环境 cuda13+pytorch2.11.0 搭建环境 cuda12 准备数据 构建模型的核心(注意力层)