Ollama 本地部署

使用本地 Ollama 模型进行推理、嵌入和工具调用。

配置

设置你的 Ollama 主机地址（默认为http://localhost:11434）：

export OLLAMA_HOST="http://localhost:11434"
# Or for remote server:
export OLLAMA_HOST="http://192.168.1.100:11434"

快速参考

# List models
python3 scripts/ollama.py list

# Pull a model
python3 scripts/ollama.py pull llama3.1:8b

# Remove a model
python3 scripts/ollama.py rm modelname

# Show model details
python3 scripts/ollama.py show qwen3:4b

# Chat with a model
python3 scripts/ollama.py chat qwen3:4b "What is the capital of France?"

# Chat with system prompt
python3 scripts/ollama.py chat llama3.1:8b "Review this code" -s "You are a code reviewer"

# Generate completion (non-chat)
python3 scripts/ollama.py generate qwen3:4b "Once upon a time"

# Get embeddings
python3 scripts/ollama.py embed bge-m3 "Text to embed"

模型选择

完整的模型列表和选择指南请参阅references/models.md。

快速推荐：

• 快速回答：qwen3:4b
• 编程：qwen2.5-coder:7b
• 通用：llama3.1:8b
• 推理：deepseek-r1:8b

工具调用

部分本地模型支持函数调用。请使用ollama_tools.py：

# Single request with tools
python3 scripts/ollama_tools.py single qwen2.5-coder:7b "What's the weather in Amsterdam?"

# Full tool loop (model calls tools, gets results, responds)
python3 scripts/ollama_tools.py loop qwen3:4b "Search for Python tutorials and summarize"

# Show available example tools
python3 scripts/ollama_tools.py tools

具备工具调用能力的模型：qwen2.5-coder、qwen3、llama3.1、mistral

OpenClaw 子代理

使用以下命令生成本地模型子代理：sessions_spawn：

# Example: spawn a coding agent
sessions_spawn(
    task="Review this Python code for bugs",
    model="ollama/qwen2.5-coder:7b",
    label="code-review"
)

模型路径格式：ollama/<模型名称>

并行代理（智囊团模式）

生成多个本地代理以进行协作任务：

agents = [
    {"label": "architect", "model": "ollama/gemma3:12b", "task": "Design the system architecture"},
    {"label": "coder", "model": "ollama/qwen2.5-coder:7b", "task": "Implement the core logic"},
    {"label": "reviewer", "model": "ollama/llama3.1:8b", "task": "Review for bugs and improvements"},
]

for a in agents:
    sessions_spawn(task=a["task"], model=a["model"], label=a["label"])

直接API

对于自定义集成，请直接使用Ollama API：

# Chat
curl $OLLAMA_HOST/api/chat -d '{
  "model": "qwen3:4b",
  "messages": [{"role": "user", "content": "Hello"}],
  "stream": false
}'

# Generate
curl $OLLAMA_HOST/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

# List models
curl $OLLAMA_HOST/api/tags

# Pull model
curl $OLLAMA_HOST/api/pull -d '{"name": "phi3:mini"}'

故障排除

连接被拒绝？

• 检查Ollama是否正在运行：ollama serve
• 验证OLLAMA_HOST设置是否正确
• 对于远程服务器，请确保防火墙允许端口11434

模型无法加载？

• 检查显存：较大的模型可能需要CPU卸载
• 先尝试较小的模型

响应缓慢？

• 模型可能运行在CPU上
• 使用更小的量化版本（例如，:7b而非:30b）

OpenClaw子代理是否回退到默认模型？

• 确保ollama:default认证配置文件存在于OpenClaw配置中
• 检查模型路径格式：ollama/模型名称:标签