Local Agent Bench

← Tabla

ministral-3:8b

Familia: ministral-3 · 8B parámetros · 1 corrida(s)

Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 9.8 GB · tier previo: 8 GB (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier

56.3/100 · scoring v4

IC bootstrap de tareas al 95%: 50.0–62.7 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 3 de este tier · rank #9 en el tier, rango de rank bajo sensibilidad de pesos #8–#10 (percentiles 5–95; mín #7, máx #10) · v3: 55.4 · mention 6.7% (3/45) · cómo

Resumen en lenguaje sencillo

Mixto — útil en algunas tareas de agente, flojo en otras.

Bueno para

  • —

Débil en

  • planes multi-paso

Desglose por categoría

JSON
77
Schema
63
Tool
65
Multi-paso
37
Inyección útil y segura
56
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
7763653756—11.314.2

Inyección de prompts (15 tareas × 3 trials): útil y segura 55.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque —% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 93.3 × tasa de tool-calls . Definiciones

Plantilla de chat vs upstream

Sin referencia

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.