llama3.1:8b

Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 9.2 GB · tier previo: 8 GB, rank #6 (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier

54.1/100 · scoring v4

IC bootstrap de tareas al 95% (suite principal, 3 trials): 47.7–60.7 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 49.8–62.9 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 3 de este tier (el ≈ de la tabla) · rank #10 en el tier, rango de rank bajo sensibilidad de pesos #8–#10 (percentiles 5–95; mín #7, máx #13) · v3: 53.2 (#9) · mention 4.4% (2/45) · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 60.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 60.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 95.6 × tasa de tool-calls 0.9949. Definiciones

• Corrida: 20261020-llama3.1-8b-8c90b4 · 2026-10-21T00:34:18+00:00
• GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
• Host: dc7718586fbe · container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-21T00:34:18+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
• Puntaje por trial (v3): 52.74 / 50.81 / 56.12 (DE 2.69, rango 50.81–56.12)
• GGUF sha256: 667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29
• Divulgación de patrocinio: none

Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M

50.3/100 · scoring v4

IC bootstrap de tareas al 95%: 44.0–56.7 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 1 de este tier · rank #6 en el tier, rango de rank bajo sensibilidad de pesos #6–#6 (percentiles 5–95; mín #4, máx #8) · v3: 49.8 (#6) · mention 2.2% (1/45) · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 42.2% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 42.2% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 97.8 × tasa de tool-calls 0.9949. Definiciones

• Corrida: 20261021-llama3.1-8b-0c49e9 · 2026-10-21T08:32:28+00:00
• Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
• Host: 8b306c4ac94a · tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T08:32:28+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
• Puntaje por trial (v3): 48.74 / 52 / 48.74 (DE 1.88, rango 48.74–52)
• GGUF sha256: 667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29
• Divulgación de patrocinio: none

Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M

Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 9.6 GB 29%/71% CPU/GPU corre con descarga al CPU (lento) (el tier principal sigue siendo 16 GB) · VRAM pico (nvidia-smi): 6683 MiB de 8192 MiB · tabla de la serie · cómo se midió

51.5/100 · scoring v4

IC bootstrap de tareas al 95%: 45.1–58.0 · rank #6 en esta serie · ≈ grupo de empate 3, rango de rank bajo sensibilidad de pesos #6–#7 · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 57.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 57.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones

• Corrida: real8gb-llama3.1-8b · 2026-10-27T07:05:12+00:00
• Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
• Host: 8fcb655dfb7d · container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-27T07:05:12+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
• Puntaje por trial (v3): 50.66 / 48.88 / 53.6 (DE 2.38, rango 48.88–53.6)
• GGUF sha256: 667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29
• Divulgación de patrocinio: none

Plantilla de chat vs upstream

No reference: no upstream Jinja reference available (gated repo or provider publishes no Jinja template).

• sha256 de plantilla GGUF (normalizado): ea1f9d8a898a0ce5c37d64d87ec10cfde63b10355b6c315d60fbd1c7068d429d
• sha256 de referencia upstream (normalizado): —

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.