qwen3.8:27b
Familia: qwen3.8 · 27B parámetros · 1 corrida(s)
Cabe en 24 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 17 GB · rank previo en este tier: #5 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
98.7/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 97.4–99.7 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 90.0–95.0 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #2 en el tier, rango de rank bajo sensibilidad de pesos #2–#3 (percentiles 5–95; mín #2, máx #3) · v3: 92.0 (#5) · mention 33.3% (15/45) · cómo
† El puntaje publicado (98.7, media de la suite principal de 3 trials) queda por encima del intervalo agrupado de 8 corridas (90.0–95.0): las 5 re-corridas a temperatura 0.7 puntuaron más bajo (media de re-corrida 92.91). Puntaje y rank se quedan los de la suite principal. Por qué
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 99 | 100 | 96 | 100 | 61.0 @b7e2c7 | 15.2 | 25.4 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 100.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 100.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 66.7 × tasa de tool-calls 1. Definiciones
- Corrida:
20261023-qwen3.8-27b-25675d· 2026-10-23T03:28:09+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
b7e2c79acebd· container (RunPod) · host AMD Ryzen Threadripper PRO 5995WX 64-Cores, 251.5 GB RAM · medido 2026-10-23T03:28:09+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 93.81 / 94.54 / 87.62 (DE 3.8, rango 87.62–94.54)
- GGUF sha256:
f5f1dd8920d417aac2718b0bda3403da274301efdd6760b4f0f4b864ff2ad57d - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.
- sha256 de plantilla GGUF (normalizado):
094b7f7d201492fcc2d2410519b0d836957d998bc51bae5007d0be14bd858949 - sha256 de referencia upstream (normalizado):
094b7f7d201492fcc2d2410519b0d836957d998bc51bae5007d0be14bd858949· fuente - Ollama renderiza este modelo con su renderer Go integrado
qwen3.8, no con la plantilla Jinja del GGUF, así que el prompt que realmente envía no queda cubierto por este hash.
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.