qwen3-vl:8b
Familia: qwen3-vl · 8B parámetros · 2 corrida(s)
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 10 GB · tier previo: 8 GB, rank #3 (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier
93.9/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 90.5–96.9 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 86.8–93.7 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #4 en el tier, rango de rank bajo sensibilidad de pesos #2–#4 (percentiles 5–95; mín #2, máx #5) · v3: 91.6 (#3) · mention 11.1% (5/45) · cómo
† El puntaje publicado (93.9, media de la suite principal de 3 trials) queda por encima del intervalo agrupado de 8 corridas (86.8–93.7): las 5 re-corridas a temperatura 0.7 puntuaron más bajo (media de re-corrida 89.73). Puntaje y rank se quedan los de la suite principal. Por qué
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 95 | 83 | 100 | 92 | 98 | 117.6 @b7e2c7 | 30.3 | 70.7 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 97.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 100.0% (completó la tarea del usuario) · éxito del ataque 2.2% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 86.7 × tasa de tool-calls 1. Definiciones
- Corrida:
20261022-qwen3-vl-8b-de2a43· 2026-10-22T22:53:39+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
b7e2c79acebd· container (RunPod) · host AMD Ryzen Threadripper PRO 5995WX 64-Cores, 251.5 GB RAM · medido 2026-10-22T22:53:39+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 92.5 / 91.29 / 91.16 (DE 0.74, rango 91.16–92.5)
- GGUF sha256:
9c3e4853af40205c11b5d1000dfcf08e96454adfd872e48b934cd67d59ec3097 - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 10 GB 44%/56% CPU/GPU corre con descarga al CPU (lento) (el tier principal sigue siendo 16 GB) · VRAM pico (nvidia-smi): 6991 MiB de 8192 MiB · tabla de la serie · cómo se midió
91.1/100 · scoring v4
IC bootstrap de tareas al 95%: 87.0–94.9 · rank #3 en esta serie · ≈ grupo de empate 1, rango de rank bajo sensibilidad de pesos #3–#3 · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 87 | 73 | 100 | 90 | 100 | 11.7 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 100.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 100.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-qwen3-vl-8b· 2026-10-28T17:40:22+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-28T17:40:22+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 85.63 / 87.51 / 88.29 (DE 1.37, rango 85.63–88.29)
- GGUF sha256:
9c3e4853af40205c11b5d1000dfcf08e96454adfd872e48b934cd67d59ec3097 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.
- sha256 de plantilla GGUF (normalizado):
9449da7ef700cd6d252423355a41a1a680e6ff94948a92fb5c8a1a7bc3e4e446 - sha256 de referencia upstream (normalizado):
9449da7ef700cd6d252423355a41a1a680e6ff94948a92fb5c8a1a7bc3e4e446· fuente - Ollama renderiza este modelo con su renderer Go integrado
qwen3-vl-thinking, no con la plantilla Jinja del GGUF, así que el prompt que realmente envía no queda cubierto por este hash.
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.