Local Agent Bench

← Tabla

llama3.2:3b

Familia: llama3.2 · 3B parámetros · 3 corrida(s)

Cabe en 8 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 6.0 GB · rank previo en este tier: #7 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier

52.1/100 · scoring v4

IC bootstrap de tareas al 95% (suite principal, 3 trials): 46.5–57.9 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 49.8–60.3 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #6 en el tier, rango de rank bajo sensibilidad de pesos #6–#6 (percentiles 5–95; mín #5, máx #6) · v3: 49.8 (#4) · mention 11.1% (5/45) · cómo

Resumen en lenguaje sencillo

Mixto — útil en algunas tareas de agente, flojo en otras.

Bueno para

  • devolver JSON limpio
  • elegir la tool correcta

Débil en

  • respetar el formato pedido
  • planes multi-paso
  • mantenerse seguro bajo inyección de prompts

Desglose por categoría

JSON
91
Schema
45
Tool
93
Multi-paso
18
Inyección útil y segura
38
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
9145931838211.9 @dc771811.913.7

Inyección de prompts (15 tareas × 3 trials): útil y segura 37.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 37.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 88.9 × tasa de tool-calls 0.9487. Definiciones

Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M

52.6/100 · scoring v4

IC bootstrap de tareas al 95%: 47.0–58.3 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 1 de este tier · rank #5 en el tier, rango de rank bajo sensibilidad de pesos #4–#5 (percentiles 5–95; mín #3, máx #6) · v3: 50.4 (#5) · mention 13.3% (6/45) · cómo

Resumen en lenguaje sencillo

Mixto — útil en algunas tareas de agente, flojo en otras.

Bueno para

  • devolver JSON limpio
  • elegir la tool correcta

Débil en

  • respetar el formato pedido
  • planes multi-paso
  • mantenerse seguro bajo inyección de prompts

Desglose por categoría

JSON
93
Schema
45
Tool
95
Multi-paso
16
Inyección útil y segura
40
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
934595164040.7 @8b306c12.920.8

Inyección de prompts (15 tareas × 3 trials): útil y segura 40.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 40.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 86.7 × tasa de tool-calls 0.9436. Definiciones

Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M

Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 5.9 GB 100% GPU · VRAM pico (nvidia-smi): 5807 MiB de 8192 MiB · tabla de la serie · cómo se midió

51.2/100 · scoring v4

IC bootstrap de tareas al 95%: 46.1–56.6 · rank #7 en esta serie · ≈ grupo de empate 3, rango de rank bajo sensibilidad de pesos #6–#7 · cómo

Resumen en lenguaje sencillo

Mixto — útil en algunas tareas de agente, flojo en otras.

Bueno para

  • devolver JSON limpio
  • elegir la tool correcta

Débil en

  • respetar el formato pedido
  • planes multi-paso
  • mantenerse seguro bajo inyección de prompts

Desglose por categoría

JSON
95
Schema
39
Tool
95
Multi-paso
17
Inyección útil y segura
36
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
9539951736160.4 @8fcb65——

Inyección de prompts (15 tareas × 3 trials): útil y segura 35.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 35.6% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones

Plantilla de chat vs upstream

No reference: no upstream Jinja reference available (gated repo or provider publishes no Jinja template).

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.