qwen3.5:27b
Familia: qwen3.5 · 27B parámetros · 1 corrida(s)
Cabe en 24 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 18 GB · rank previo en este tier: #4 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
95.0/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 91.7–97.7 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 91.7–98.0 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #5 en el tier, rango de rank bajo sensibilidad de pesos #4–#5 (percentiles 5–95; mín #4, máx #5) · v3: 95.0 (#4) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 99 | 97 | 100 | 87 | 98 | 37.8 @37becd | 22.1 | 40.3 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 97.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 97.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 1. Definiciones
- Corrida:
20261022-qwen3.5-27b-d87444· 2026-10-22T11:56:01+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-22T11:56:01+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 94.26 / 94.51 / 96.09 (DE 0.99, rango 94.26–96.09)
- GGUF sha256:
c7e0e920a0948849beb7074d8368cbd5ac6825fcd1f2450cf851276325d8a6a5 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.
- sha256 de plantilla GGUF (normalizado):
4880dc50493b95f47b108a77ff06e25994d2ce8d5e28359d02975d6eefd4aa79 - sha256 de referencia upstream (normalizado):
4880dc50493b95f47b108a77ff06e25994d2ce8d5e28359d02975d6eefd4aa79· fuente - Ollama renderiza este modelo con su renderer Go integrado
qwen3.5, no con la plantilla Jinja del GGUF, así que el prompt que realmente envía no queda cubierto por este hash.
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.