qwen3:8b
Familia: qwen3 · 8B parámetros · 3 corrida(s)
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 10 GB · tier previo: 8 GB, rank #4 (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier
61.9/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 55.9–67.8 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 51.1–61.9 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 3 de este tier (el ≈ de la tabla) · rank #6 en el tier, rango de rank bajo sensibilidad de pesos #6–#9 (percentiles 5–95; mín #6, máx #10) · v3: 60.6 (#6) · mention 6.7% (3/45) · cómo
† El puntaje publicado (61.9, media de la suite principal de 3 trials) está cerca del borde alto del intervalo agrupado de 8 corridas (51.1–61.9); media de re-corrida 54.18. Puntaje y rank se quedan los de la suite principal. Por qué
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
Débil en
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 93 | 89 | 77 | 56 | 11 | 116.1 @dc7718 | 19.5 | 89.4 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 11.1% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 11.1% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 93.3 × tasa de tool-calls 0.5795. Definiciones
- Corrida:
20261021-qwen3-8b-5020e7· 2026-10-21T03:34:58+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
dc7718586fbe· container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-21T03:34:58+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 60.36 / 62 / 59.48 (DE 1.28, rango 59.48–62)
- GGUF sha256:
a3de86cd1c132c822487ededd47a324c50491393e6565cd14bafa40d0b8e686f - Divulgación de patrocinio: none
Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M
60.1/100 · scoring v4
IC bootstrap de tareas al 95%: 54.7–65.2 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 1 de este tier · rank #4 en el tier, rango de rank bajo sensibilidad de pesos #1–#4 (percentiles 5–95; mín #1, máx #6) · v3: 60.1 (#2) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
Débil en
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 93 | 89 | 84 | 51 | 2 | 17.6 @8b306c | 60.0 | 265.8 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 2.2% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 2.2% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 0.5692. Definiciones
- Corrida:
20261021-qwen3-8b-eae4c3· 2026-10-21T16:47:31+00:00 - Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
- Host:
8b306c4ac94a· tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T16:47:31+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 60.29 / 62.53 / 57.4 (DE 2.57, rango 57.4–62.53)
- GGUF sha256:
a3de86cd1c132c822487ededd47a324c50491393e6565cd14bafa40d0b8e686f - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 10 GB 34%/66% CPU/GPU corre con descarga al CPU (lento) (el tier principal sigue siendo 16 GB) · VRAM pico (nvidia-smi): 6753 MiB de 8192 MiB · tabla de la serie · cómo se midió
64.9/100 · scoring v4
IC bootstrap de tareas al 95%: 58.6–70.9 · rank #5 en esta serie · ≈ grupo de empate 2, rango de rank bajo sensibilidad de pesos #4–#5 · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
Débil en
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 95 | 91 | 81 | 59 | 16 | 15.0 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 15.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 15.6% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-qwen3-8b· 2026-10-27T19:59:27+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-27T19:59:27+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 63.01 / 63.66 / 61.34 (DE 1.2, rango 61.34–63.66)
- GGUF sha256:
a3de86cd1c132c822487ededd47a324c50491393e6565cd14bafa40d0b8e686f - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.
- sha256 de plantilla GGUF (normalizado):
ccd61ecea6aa8406e336da83f2f71e500777096cdb0391303614e7331e6087b0 - sha256 de referencia upstream (normalizado):
5922e70169a13b0ee856ed984180068cf3b8369fee76cce63c8ca2d37007f0b4· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.