Skip to main content

“龙虾款”切换本地模型指南

零刻预装 OpenClaw+ 本地模型的机型是通过 llama.cpp 运行本地模型,支持自行新增或删除本地模型。

本教程以零刻 GTR9Pro 「预装 OpenClaw」机型为例,实际上手操作切换本地模型,只需按如下步骤操作即可。

本教程仅适用于预装OpenClaw+本地模型的零刻产品


1. 下载模型

llama.cpp 使用 GGUF 格式的模型文件,建议通过以下两种方式下载模型:

  1. Hugging Face(需科学上网

  2. ModelScope(魔塔社区)

这里我们使用魔塔社区下载 Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf 模型,这是一个高阶 8 位量化版本,精度损耗极低,兼顾优质推理能力与合理显存占用,适配本地部署日常使用。

请根据主机实际配置选择合适的模型。

下载模型.png

下载好以后,执行以下命令将模型剪切至本地模型目录:

sudo mv /home/用户名/下载/Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf /opt/models/

注:在终端输入密码默认不会显示,正常输入后回车执行即可

剪切后验证是否剪切成功,执行:

sudo ls /opt/models/

输出结果中包含文件(Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf),说明剪切成功。

移动模型.png

2. 编辑 llama 启动脚本

保存好本地模型后,需要手动编辑 llama 启动脚本,执行:

sudo nano /usr/local/bin/start-llama.sh

修改 MODEL 字段,将后面双引号中的模型名称改为新的模型名称,其他不用修改。

编辑完成后,按下 Ctrl+X - Y - 回车 ,保存退出编辑器。

编辑脚本.png

3. 验证新模型是否启用

编辑并保存好 llama 启动脚本后,重启一下系统:

reboot

重启后打开网页 127.0.0.1:8080 ,可以看到显示的模型名称为 Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf,说明模型切换成功,打个招呼确认模型能否正常使用,得到回应后说明成功了。

验证模型.png

4. OpenClaw 切换新模型

新模型就绪后,还需要到 OpenClaw 中切换默认模型,打开终端执行:

openclaw config

选择 Local - Model

然后选择 vLLM

vLLM base URL 修改为 http://127.0.0.1:8080/v1

vLLM API Key 填写 sk-local(可以随意输入)

vLLM model 填写 Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf

然后回车,再按一次回车即可。

配置openclaw.png

这样就配置完成了,再移动到 Continue 并按下回车,结束配置。

完成配置openclaw.png

结束配置后,还需要重启 OpenClaw Gateway 以应用修改,执行:

openclaw gateway restart

重启后即可以新模型使用 OpenClaw。

测试openclaw.png


多模型切换

配置好新模型后,原先的模型如果没有取消勾选,会自动以备用模型配置,可以通过以下命令查询可用模型列表:

openclaw models list

可用模型列表.png

在终端中可以切换默认模型,无需重启 Gateway,执行:

openclaw models set 模型全称

切换默认模型.png

如需临时切换模型,可以在与 OpenClaw 的对话中回复:/model 模型全称 快速切换,无需重启。

临时切换模型.png


查看显存占用

首先需要下载工具,在终端执行:

sudo apt install mesa-utils

安装成功后,再次执行:

glxinfo | grep -i "video memory\|vram"

即可查看当前显存情况

剩余显存.png

Video Memory:总显存容量

Currently available dedicated video memory:剩余可用显存

如图,目前剩余可用显存约为 54G,说明 GTR9Pro 运行该模型后仍有大量余裕,且运行速度完全足够日常使用。


关闭思考模式

Qwen3.6-35B-A3B 模型支持关闭思考模式。

如需关闭思考模式(可提高回复速度),可以在最底下的 "--n-gpu-layers 99 " 的下方新增一条 --chat-template-kwargs '{"enable_thinking":false}',如图

关闭思考模式.png

 

编辑完成后,按下 Ctrl+X - Y - 回车 ,保存退出编辑器。

然后重启系统即可。

验证模型.png验证关闭思考.png