mistral-small:24b
Familia: mistral-small · 24B parámetros · 1 corrida(s)
Cabe en 24 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 19 GB · rank previo en este tier: #8 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
28.9/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 23.3–35.0 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 30.1–41.9 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 4 de este tier (el ≈ de la tabla) · rank #9 en el tier, rango de rank bajo sensibilidad de pesos #9–#9 (percentiles 5–95; mín #9, máx #9) · v3: 28.1 (#8) · mention 4.4% (2/45) · cómo
† El puntaje publicado (28.9, media de la suite principal de 3 trials) queda por debajo del intervalo agrupado de 8 corridas (30.1–41.9): las 5 re-corridas a temperatura 0.7 puntuaron más alto (media de re-corrida 40.69). Puntaje y rank se quedan los de la suite principal. Por qué
Resumen en lenguaje sencillo
No funciona como agente que usa tools en esta suite.
Bueno para
- —
Débil en
- devolver JSON limpio
- respetar el formato pedido
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 44 | 33 | 55 | 10 | 18 | 49.0 @dc7718 | 13.5 | 20.2 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 17.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 17.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 95.6 × tasa de tool-calls 0.6564. Definiciones
- Corrida:
20261021-mistral-small-24b-1461db· 2026-10-21T10:25:37+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
dc7718586fbe· container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-21T10:25:37+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 28.89 / 28.57 / 26.7 (DE 1.18, rango 26.7–28.89)
- GGUF sha256:
102a747c137683e81d431dab05d8f2158df4ab6f162f8f9019425a43d51e0e9f - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.
- sha256 de plantilla GGUF (normalizado):
d99c0a28fd4eebd7ba2cc0309651f6d7c5486024989bc42f6bb4cc558d553689 - sha256 de referencia upstream (normalizado):
ecd93697f657ddff6f34148fa495cdfb76cf1a81398722d22c5b5674c43d9dea· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.