97.7/100
Excelente como asistente que usa tools en esta suite.
- #2gemma4:e4b94.7
- #3ornith-1.5:9b92.0
Local Agent Bench · suite v0.1.5
¿Cuáles modelos de IA locales sí sirven como asistentes que usan tools?
Probamos qué modelos de IA que puedes correr en tu propia computadora sí funcionan como asistentes que usan tools — buscar cosas, llamar una calculadora o seguir un plan de varios pasos. Los resultados se rankean por cuánta memoria GPU necesitan.
Ver todos los resultados Cómo lo medimos
· · · · ·
Elige la memoria de tu GPU
Cada tarjeta muestra los 3 mejores modelos que caben en ese presupuesto de memoria en el hardware que probamos. Toca “Ver tabla completa” para ver todos los modelos y el detalle.
98.3/100
Excelente como asistente que usa tools en esta suite.
- #2qwen3.5:9b94.1
- #3gpt-oss:20b93.9
99.7/100
Excelente como asistente que usa tools en esta suite.
- #2qwen3.8:27b98.7
- #3qwen3:30b-a3b98.5
61.8/100
Mixto — útil en algunas tareas de agente, flojo en otras.
- #2qwen2.5:7b61.3
- #3mistral-nemo:12b60.4
92.6/100
Excelente como asistente que usa tools en esta suite.
- #2gemma4:31b-it-q8_080.8
- #3qwen2.5:72b79.2
Serie aparte — no se mezcla con el ranking de tiers de VRAM.
5 modelos rankeados · Ver tabla completa →97.3/100
Excelente como asistente que usa tools en esta suite.
- #2gemma4:e4b94.1
- #3qwen3-vl:8b91.1
Serie aparte — no se mezcla con el ranking de tiers de VRAM.
11 modelos rankeados · Ver tabla completa →Puntajes cercanos pueden estar empatados estadísticamente; las tablas completas marcan empates (≈), intervalos de confianza y todos los modelos probados.
Cómo leer esto
- Encuentra tu presupuesto de memoriaUsa las tarjetas de arriba para 8, 16 o 24 GB (o Mac / serie de tarjeta grande). Un modelo solo aparece en un tier si cabe en esa memoria GPU a nuestro contexto de 32K.
- Mira el puntaje (0–100)Más alto = mejor en las tareas de agente que probamos: JSON válido, elegir la tool correcta, planes multi-paso e ignorar instrucciones maliciosas escondidas en la salida de las tools.
- La velocidad va apartetok/s (tokens por segundo) es qué tan rápido habla el modelo. Solo comparamos velocidad entre modelos medidos en el mismo host — nunca entre máquinas distintas.
Cómo medimos
Misma prueba para todos los modelos: 100 tareas de agente, 3 repeticiones cada una, agrupadas por memoria GPU. El puntaje combina cinco categorías:
- Solo publicamos corridas reales con run_id
- tok/s solo se compara en el mismo host
- La velocidad se reporta aparte, no entra al puntaje
¿Quieres todos los números?
La página de Resultados tiene todas las tablas completas (8, 16 y 24 GB, Apple M2, tarjeta real de 8 GB, A100 80 GB), velocidad por host, hosts, el changelog y los modelos que no pudimos correr.