运行 AI 模型运行 AI 模型
🎲

运行 AI 模型

2 * NVIDIA RTX 3090
NVIDIA RTX 3090 支持 FP16(半精度浮点)运算
 
无审核版本的 QwQ
ollama pull huihui-ai/qwq-abliterated:32b ollama run huihui-ai/qwq-abliterated:32b --precision fp16
 
优先 Llama-3.1
ollama run hf.co/mlabonne/Llama-3.1-70B-Instruct-lorablated:Q4_K_M ollama run hf.co/bartowski/Llama-3.1-70B-Instruct-lorablated-GGUF:Q4_K_M ✅

提供对话内容

  • 输入系统提示和用户消息: 在交互模式下,您可以直接输入对话内容。例如:
    • /set system 你是一个helpful助手。 你好,你怎么样?
    • /set system 用于设置系统提示,定义模型的行为。
    • 接下来的输入(如“你好,你怎么样?”)会被视为用户消息。
  • 自动格式化: Ollama 会自动将您的输入包装在 Llama 3 所需的标记中(如 <|begin_of_text|>、<|start_header_id|> 等),您无需手动处理这些细节。

自动应用聊天模板

  • 内置模板: Ollama 已为 Llama 3 配置了默认聊天模板,因此您输入的内容会被自动格式化以适配模型的要求。通常情况下,您无需额外操作