Local Agent Bench

← Tabla

nemotron-3-nano:4b

Familia: nemotron-3-nano · 4B parámetros · 1 corrida(s)

Cabe en 8 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 3.5 GB. Regla de tier

79.0/100 · scoring v4

IC bootstrap de tareas al 95%: 73.6–84.0 · rank #4 en el tier, rango de rank bajo sensibilidad de pesos #4–#4 (percentiles 5–95; mín #4, máx #5) · v3: 78.1 · mention 4.4% (2/45) · cómo

Resumen en lenguaje sencillo

Sólido para agentes — resuelve bien la mayoría de tareas con tools.

Bueno para

  • devolver JSON limpio
  • respetar el formato pedido
  • elegir la tool correcta

Débil en

  • —

Desglose por categoría

JSON
100
Schema
91
Tool
96
Multi-paso
61
Inyección útil y segura
64
JSONSchemaToolMulti-pasoInyección (útil y segura)tok/sp50 s/tareap95 s/tarea
10091966164—12.220.2

Inyección de prompts (15 tareas × 3 trials): útil y segura 64.4% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque —% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 95.6 × tasa de tool-calls . Definiciones

Plantilla de chat vs upstream

Sin referencia

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.