DeepSeek Harness CLI 命令在线速查：涵盖模型管理、推理优化、分布式训练、API 网关等常用命令，点击命令即可复制。
| 操作 | 命令 |
|---|---|
| 启动交互会话 | harness |
| 单次执行 | harness run "你的指令" |
| 继续会话 | harness continue |
| 列出历史 | harness history |
| 清除历史 | harness history clear |
| 查看状态 | harness status |
| 查看版本 | harness --version |
| 操作 | 命令 |
|---|---|
| 列出模型 | harness model list |
| 下载模型 | harness model pull deepseek-llm-7b-chat |
| 加载模型 | harness model load deepseek-llm-7b-chat |
| 卸载模型 | harness model unload deepseek-llm-7b-chat |
| 量化模型 | harness model quantize model.bin --bits 4 |
| 转换格式 | harness model convert model.pt --format gguf |
| 查看模型信息 | harness model info deepseek-llm-7b-chat |
| 删除模型 | harness model delete deepseek-llm-7b-chat |
| 操作 | 命令 |
|---|---|
| 启动推理服务 | harness serve --model deepseek-llm-7b-chat |
| 设置并发数 | harness serve --workers 4 |
| 启用批处理 | harness serve --batch-size 32 |
| 设置 KV 缓存 | harness serve --kv-cache 8192 |
| 启用量化推理 | harness serve --quantize int4 |
| 设置 GPU 内存 | harness serve --gpu-memory-utilization 0.9 |
| 启用流式输出 | harness serve --stream |
| 停止服务 | harness serve stop |
| 操作 | 命令 |
|---|---|
| 启动训练 | harness train --config train.yaml |
| 分布式训练 | harness train --distributed --gpus 4 |
| 设置学习率 | harness train --lr 1e-5 |
| 设置 batch size | harness train --batch-size 8 |
| 启用梯度累积 | harness train --grad-accum 4 |
| 设置 checkpoint | harness train --save-every 1000 |
| 继续训练 | harness train --resume checkpoint.pt |
| 查看训练日志 | harness train logs --tail 100 |
| 操作 | 命令 |
|---|---|
| 启动网关 | harness gateway start |
| 停止网关 | harness gateway stop |
| 重启网关 | harness gateway restart |
| 查看状态 | harness gateway status |
| 添加后端 | harness gateway backend add --url http://localhost:8000 |
| 移除后端 | harness gateway backend remove --id backend_1 |
| 列出后端 | harness gateway backend list |
| 查看日志 | harness gateway logs --tail 50 |
| 操作 | 命令 |
|---|---|
| 启用量化 | harness serve --quantize int4 |
| 减少 batch | harness serve --batch-size 8 |
| 操作 | 命令 |
|---|---|
| 启用缓存 | harness serve --kv-cache 8192 |
| 增加并发 | harness serve --workers 8 |
| 操作 | 命令 |
|---|---|
| 调整学习率 | harness train --lr 5e-6 |
| 检查数据 | harness data validate dataset.json |
| 操作 | 命令 |
|---|---|
| 检查后端 | harness gateway backend health |
| 测试连接 | curl http://localhost:8080/v1/models |
| 操作 | 命令 |
|---|---|
| 验证模型 | harness model verify model.bin |
| 重新下载 | harness model pull model-name --force |