Local Agent Bench

← Tabla

qwen3:32b-q8_0

Familia: qwen3 · 32B parámetros · 1 corrida(s)

Tarjeta grande: NVIDIA A100 SXM4 80 GB (contenedor RunPod) · ollama 0.40.6 · Q8_0

Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. · tabla de la serie

92.6/100 · scoring v4

IC bootstrap de tareas al 95%: 89.6–95.4 · rank #1 en esta serie, rango de rank bajo sensibilidad de pesos #1–#1 · cómo

Resumen en lenguaje sencillo

Excelente como asistente que usa tools en esta suite.

Bueno para

  • devolver JSON limpio
  • elegir la tool correcta
  • planes multi-paso
  • mantenerse seguro bajo inyección de prompts

Débil en

  • —

Desglose por categoría

JSON
95
Schema
69
Tool
99
Multi-paso
97
Inyección útil y segura
96
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
956999979620.0 @ae7605——

Inyección de prompts (15 tareas × 3 trials): útil y segura 95.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 95.6% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones

Plantilla de chat vs upstream

Sin referencia

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.