2 * NVIDIA RTX 3090
NVIDIA RTX 3090 支持 FP16(半精度浮点)运算
无审核版本的 QwQ
ollama pull huihui-ai/qwq-abliterated:32b ollama run huihui-ai/qwq-abliterated:32b --precision fp16
优先 Llama-3.1
ollama run hf.co/mlabonne/Llama-3.1-70B-Instruct-lorablated:Q4_K_M ollama run hf.co/bartowski/Llama-3.1-70B-Instruct-lorablated-GGUF:Q4_K_M ✅
提供对话内容
- 输入系统提示和用户消息: 在交互模式下,您可以直接输入对话内容。例如:
/set system 你是一个helpful助手。 你好,你怎么样?
- 自动格式化: Ollama 会自动将您的输入包装在 Llama 3 所需的标记中(如 <|begin_of_text|>、<|start_header_id|> 等),您无需手动处理这些细节。
自动应用聊天模板
- 内置模板: Ollama 已为 Llama 3 配置了默认聊天模板,因此您输入的内容会被自动格式化以适配模型的要求。通常情况下,您无需额外操作