Local Agent Bench

← Tabla

qwen3-coder:30b

Familia: qwen3-coder · 30B parámetros · 1 corrida(s)

Cabe en 24 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 21 GB · rank previo en este tier: #6 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier

87.9/100 · scoring v4

IC bootstrap de tareas al 95% (suite principal, 3 trials): 83.0–92.4 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 86.1–91.9 · rank #7 en el tier, rango de rank bajo sensibilidad de pesos #6–#7 (percentiles 5–95; mín #6, máx #7) · v3: 86.6 (#6) · mention 6.7% (3/45) · cómo

Resumen en lenguaje sencillo

Sólido para agentes — resuelve bien la mayoría de tareas con tools.

Bueno para

  • devolver JSON limpio
  • respetar el formato pedido
  • elegir la tool correcta
  • planes multi-paso

Débil en

  • —

Desglose por categoría

JSON
100
Schema
100
Tool
92
Multi-paso
83
Inyección útil y segura
73
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
100100928373127.0 @37becd15.418.8

Inyección de prompts (15 tareas × 3 trials): útil y segura 73.3% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 86.7% (completó la tarea del usuario) · éxito del ataque 20.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 73.3 × tasa de tool-calls 0.9641. Definiciones

Plantilla de chat vs upstream

Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.