오픈클로 오픈채팅방 오픈클로 오픈채팅방

Mac Mini M4 24GB Qwen3-30B-A3B MoE Q4

관리자 2026-03-03 19:47 조회 6

openClaw를 사용한 고성능 로컬 LLM 구성에 최적화

mlx_lm ≥ 0.25.2

pip install mlx-lm --break-system-packages

mlx_lm.server --model Qwen/Qwen3-30B-A3B-MLX-4bit --port 8080

vi ~/.openclaw/openclaw.json

{
  "models": {
    "providers": {
      "local-mlx": {
        "baseUrl": "http://127.0.0.1:8080/v1",
        "apiKey": "none",
        "api": "openai-responses",
        "models": [
          {
            "id": "qwen3-30b-a3b",
            "name": "Qwen3-30B-A3B-4bit",
            "reasoning": true,
            "input": ["text"],
            "cost": { "input": 0, "output": 0 },
            "contextWindow": 8192,
            "maxTokens": 4096
          }
        ]
      }
    }
  },
  "agents": {
    "defaults": {
      "model": {
        "primary": "local-mlx/qwen3-30b-a3b"
      }
    }
  }
}

contextWindow는 8192->16384->32768로 변경됩니다.

/no_think 모드에서는 약 30-40 토큰/초의 속도를 달성합니다.

Export 목록 답글

댓글 0

등록된 댓글이 없습니다.