hermes3:8b

Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M

VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 9.0 GB · tier previo: 8 GB, rank #8 (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier

45.7/100 · scoring v4

IC bootstrap de tareas al 95% (suite principal, 3 trials): 38.8–52.7 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 38.8–50.8 · rank #11 en el tier, rango de rank bajo sensibilidad de pesos #11–#11 (percentiles 5–95; mín #9, máx #12) · v3: 45.3 (#10) · mention 2.2% (1/45) · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 37.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 37.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 97.8 × tasa de tool-calls 0.7897. Definiciones

• Corrida: 20261021-hermes3-8b-551378 · 2026-10-21T05:34:32+00:00
• GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
• Host: dc7718586fbe · container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-21T05:34:32+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
• Puntaje por trial (v3): 44.27 / 42.19 / 49.39 (DE 3.71, rango 42.19–49.39)
• GGUF sha256: c8985d236593f7a17da2a3da49588aa951a9b1e57ce97753364fbf59e63af84a
• Divulgación de patrocinio: none

Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M

43.1/100 · scoring v4

IC bootstrap de tareas al 95%: 36.7–49.5 · rank #7 en el tier, rango de rank bajo sensibilidad de pesos #7–#7 (percentiles 5–95; mín #4, máx #7) · v3: 41.8 (#7) · mention 6.7% (3/45) · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 28.9% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 28.9% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 93.3 × tasa de tool-calls 0.7487. Definiciones

• Corrida: 20261021-hermes3-8b-4894d4 · 2026-10-21T19:02:35+00:00
• Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
• Host: 8b306c4ac94a · tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T19:02:35+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
• Puntaje por trial (v3): 36.53 / 47.47 / 41.45 (DE 5.48, rango 36.53–47.47)
• GGUF sha256: c8985d236593f7a17da2a3da49588aa951a9b1e57ce97753364fbf59e63af84a
• Divulgación de patrocinio: none

Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M

Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 9.3 GB 26%/74% CPU/GPU corre con descarga al CPU (lento) (el tier principal sigue siendo 16 GB) · VRAM pico (nvidia-smi): 6769 MiB de 8192 MiB · tabla de la serie · cómo se midió

43.8/100 · scoring v4

IC bootstrap de tareas al 95%: 37.1–50.4 · rank #8 en esta serie · ≈ grupo de empate 3, rango de rank bajo sensibilidad de pesos #7–#8 · cómo

Inyección de prompts (15 tareas × 3 trials): útil y segura 33.3% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 33.3% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones

• Corrida: real8gb-hermes3-8b · 2026-10-27T10:44:17+00:00
• Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
• Host: 8fcb655dfb7d · container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-27T10:44:17+00:00 · hosts
• Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
• Puntaje por trial (v3): 47.71 / 40.91 / 40.13 (DE 4.17, rango 40.13–47.71)
• GGUF sha256: c8985d236593f7a17da2a3da49588aa951a9b1e57ce97753364fbf59e63af84a
• Divulgación de patrocinio: none

Plantilla de chat vs upstream

Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.

• sha256 de plantilla GGUF (normalizado): 5de3da42fc6a0d646cab1f820a346be0cc9a11947884a5b7baa12abe824104dc
• sha256 de referencia upstream (normalizado): 5de3da42fc6a0d646cab1f820a346be0cc9a11947884a5b7baa12abe824104dc · fuente

Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.