llama3.2:3b
Familia: llama3.2 · 3B parámetros · 3 corrida(s)
Cabe en 8 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 6.0 GB · rank previo en este tier: #7 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
52.1/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 46.5–57.9 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 49.8–60.3 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #6 en el tier, rango de rank bajo sensibilidad de pesos #6–#6 (percentiles 5–95; mín #5, máx #6) · v3: 49.8 (#4) · mention 11.1% (5/45) · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
Débil en
- respetar el formato pedido
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 91 | 45 | 93 | 18 | 38 | 211.9 @dc7718 | 11.9 | 13.7 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 37.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 37.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 88.9 × tasa de tool-calls 0.9487. Definiciones
- Corrida:
20261020-llama3.2-3b-4559ab· 2026-10-20T19:47:27+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
dc7718586fbe· container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-20T19:47:27+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 49 / 51.21 / 49.28 (DE 1.2, rango 49–51.21)
- GGUF sha256:
dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff - Divulgación de patrocinio: none
Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M
52.6/100 · scoring v4
IC bootstrap de tareas al 95%: 47.0–58.3 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 1 de este tier · rank #5 en el tier, rango de rank bajo sensibilidad de pesos #4–#5 (percentiles 5–95; mín #3, máx #6) · v3: 50.4 (#5) · mention 13.3% (6/45) · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
Débil en
- respetar el formato pedido
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 93 | 45 | 95 | 16 | 40 | 40.7 @8b306c | 12.9 | 20.8 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 40.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 40.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 86.7 × tasa de tool-calls 0.9436. Definiciones
- Corrida:
20261021-llama3.2-3b-3941c7· 2026-10-21T01:55:23+00:00 - Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
- Host:
8b306c4ac94a· tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T01:55:23+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 52.09 / 48.69 / 50.32 (DE 1.7, rango 48.69–52.09)
- GGUF sha256:
dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 5.9 GB 100% GPU · VRAM pico (nvidia-smi): 5807 MiB de 8192 MiB · tabla de la serie · cómo se midió
51.2/100 · scoring v4
IC bootstrap de tareas al 95%: 46.1–56.6 · rank #7 en esta serie · ≈ grupo de empate 3, rango de rank bajo sensibilidad de pesos #6–#7 · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
Débil en
- respetar el formato pedido
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 95 | 39 | 95 | 17 | 36 | 160.4 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 35.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 35.6% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-llama3.2-3b· 2026-10-26T22:37:25+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-26T22:37:25+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 52.01 / 48.21 / 48.01 (DE 2.25, rango 48.01–52.01)
- GGUF sha256:
dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff - Divulgación de patrocinio: none
Plantilla de chat vs upstream
No reference: no upstream Jinja reference available (gated repo or provider publishes no Jinja template).
- sha256 de plantilla GGUF (normalizado):
6a181be8efdd87eac842323932a095e853dd3fa234718ebb0371cd4f05be1c01 - sha256 de referencia upstream (normalizado):
—
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.