팁
Mac Mini M4 24GB Qwen3-30B-A3B MoE Q4
관리자
2026-03-03 19:47
조회 6
openClaw를 사용한 고성능 로컬 LLM 구성에 최적화
mlx_lm ≥ 0.25.2
pip install mlx-lm --break-system-packages
mlx_lm.server --model Qwen/Qwen3-30B-A3B-MLX-4bit --port 8080
vi ~/.openclaw/openclaw.json
{
"models": {
"providers": {
"local-mlx": {
"baseUrl": "http://127.0.0.1:8080/v1",
"apiKey": "none",
"api": "openai-responses",
"models": [
{
"id": "qwen3-30b-a3b",
"name": "Qwen3-30B-A3B-4bit",
"reasoning": true,
"input": ["text"],
"cost": { "input": 0, "output": 0 },
"contextWindow": 8192,
"maxTokens": 4096
}
]
}
}
},
"agents": {
"defaults": {
"model": {
"primary": "local-mlx/qwen3-30b-a3b"
}
}
}
}
contextWindow는 8192->16384->32768로 변경됩니다.
/no_think 모드에서는 약 30-40 토큰/초의 속도를 달성합니다.