Mlx Vlm Inference

Usa a inferir VLM en Apple Silicon con MLX-VLM.

ntizar 67a1657 1.2 KB Updated

File contents

MLX-VLM — inference de Vision-Language en Apple Silicon

⚠️ Corrección 2026-09-05 (auditoría): los módulos CLI mlx_vlm.chat/mlx_vlm.gradio no existen; el real es mlx_vlm.generate / mlx_vlm.chat_ui. Flags de server: APC_ENABLED=1 y --kv-bits (no --apc ni --kv-cache-quantization); batching automático.

Repo: https://github.com/Blaizzy/mlx-vlm (Python, ~5.5K⭐).

When to Use

  • Cuando pidas inferir un VLM (texto+imagen) en Apple Silicon (MLX) de forma local y eficiente.

Uso (API real)

pip install mlx-vlm
# CLI de generación:
mlx_vlm.generate --model <modelo> --image img.jpg --prompt "..."
# UI/servidor:
mlx_vlm.chat_ui ...        # (no mlx_vlm.gradio)
# server con APC enable:
APC_ENABLED=1 mlx_vlm.server ... --kv-bits 8   # (no --apc ni --kv-cache-quantization)

Pitfalls

  • Módulos: mlx_vlm.generate / mlx_vlm.chat_ui, no chat / gradio.
  • Server: APC_ENABLED=1 y --kv-bits, no --apc/--kv-cache-quantization.
  • Modelos en constante evolución (Gemma 3→4); consultar el README.

Verificación

  • mlx_vlm.generate con una imagen y un prompt sobre la imagen.

ntizar/mastermind/tree/main/agent/skills/mlops/mlx-vlm-inference commit 67a16579e0

Frequently asked questions

npx skillmds@latest add ntizar/mlx-vlm-inference