Local Agent Bench

← Tabla

glm-4.7-flash:q4_K_M

Familia: glm-4.7-flash · 30B parámetros · 1 corrida(s)

Cabe en 24 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 20 GB. Regla de tier

88.0/100 · scoring v4

IC bootstrap de tareas al 95%: 83.9–91.6 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 2 de este tier · rank #6 en el tier, rango de rank bajo sensibilidad de pesos #6–#7 (percentiles 5–95; mín #6, máx #7) · v3: 88.0 · mention 0.0% (0/45) · cómo

Resumen en lenguaje sencillo

Sólido para agentes — resuelve bien la mayoría de tareas con tools.

Bueno para

  • devolver JSON limpio
  • respetar el formato pedido
  • elegir la tool correcta
  • planes multi-paso
  • mantenerse seguro bajo inyección de prompts

Débil en

  • —

Desglose por categoría

JSON
87
Schema
80
Tool
100
Multi-paso
81
Inyección útil y segura
93
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
87801008193—12.318.5

Inyección de prompts (15 tareas × 3 trials): útil y segura 93.3% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque —% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls . Definiciones

Plantilla de chat vs upstream

Sin referencia

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.