mistral-nemo:12b
Familia: mistral-nemo · 12B parámetros · 2 corrida(s)
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 12 GB · rank previo en este tier: #5 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
61.5/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 55.4–67.6 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 58.2–69.2 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 3 de este tier (el ≈ de la tabla) · rank #7 en el tier, rango de rank bajo sensibilidad de pesos #6–#8 (percentiles 5–95; mín #6, máx #9) · v3: 60.2 (#7) · mention 6.7% (3/45) · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
Débil en
- planes multi-paso
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 80 | 68 | 100 | 20 | 67 | 94.1 @dc7718 | 12.7 | 18.6 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 66.7% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 66.7% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 93.3 × tasa de tool-calls 0.9538. Definiciones
- Corrida:
20261021-mistral-nemo-12b-c42ba9· 2026-10-21T06:42:21+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
dc7718586fbe· container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-21T06:42:21+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 57.88 / 57.54 / 65.18 (DE 4.32, rango 57.54–65.18)
- GGUF sha256:
b559938ab7a0392fc9ea9675b82280f2a15669ec3e0e0fc491c9cb0a7681cf94 - Divulgación de patrocinio: none
Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M
60.4/100 · scoring v4
IC bootstrap de tareas al 95%: 53.9–66.9 · ≈ empatado estadísticamente con otros modelos en el grupo de empate 1 de este tier · rank #3 en el tier, rango de rank bajo sensibilidad de pesos #2–#4 (percentiles 5–95; mín #1, máx #4) · v3: 59.9 (#3) · mention 4.4% (2/45) · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- elegir la tool correcta
Débil en
- planes multi-paso
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 80 | 67 | 97 | 20 | 64 | 13.0 @8b306c | 19.4 | 58.7 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 64.4% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 64.4% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 95.6 × tasa de tool-calls 0.9436. Definiciones
- Corrida:
20261021-mistral-nemo-12b-adc3a1· 2026-10-21T21:09:13+00:00 - Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
- Host:
8b306c4ac94a· tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T21:09:13+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 57.29 / 61.53 / 60.91 (DE 2.29, rango 57.29–61.53)
- GGUF sha256:
b559938ab7a0392fc9ea9675b82280f2a15669ec3e0e0fc491c9cb0a7681cf94 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.
- sha256 de plantilla GGUF (normalizado):
606c9352e306ae1eb6c3391c2567a52fb98c3baea323357b7d47ce24452cd66d - sha256 de referencia upstream (normalizado):
edc2b71010347aa2e154cc8c178ab71ac865044e480d17e01f0b68d4da5215bd· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.