mistral:7b
Familia: mistral · 7B parámetros · 2 corrida(s)
Por qué este modelo saca cerca de 0 en selección de tools: qué escribió en lugar de tool calls, y si la causa es la plantilla, el motor o el modelo. Leer el análisis. Aplica a todas las corridas de esta página; puntajes sin cambio.
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 8.9 GB · tier previo: 8 GB, rank #11 (results v0.1.1). Pasó al tier de 16 GB en results v0.1.2 (2026-10-26) porque necesita más de 8 GB a contexto 32K; puntaje sin cambio. Regla de tier
22.0/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 19.8–24.2 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 21.2–25.2 · rank #16 en el tier, rango de rank bajo sensibilidad de pesos #16–#16 (percentiles 5–95; mín #15, máx #16) · v3: 22.0 (#14) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
No funciona como agente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
Débil en
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 93 | 53 | 0 | 0 | 0 | 128.3 @37becd | 14.7 | 17.7 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 0. Definiciones
- Corrida:
20261021-mistral-7b-83c59b· 2026-10-21T18:07:31+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-21T18:07:31+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 22.2 / 24.6 / 19.2 (DE 2.71, rango 19.2–24.6)
- GGUF sha256:
f5074b1221da0f5a2910d33b642efa5b9eb58cfdddca1c79e16d7ad28aa2b31f - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 8.6 GB 19%/81% CPU/GPU corre con descarga al CPU (lento) (el tier principal sigue siendo 16 GB) · VRAM pico (nvidia-smi): 6813 MiB de 8192 MiB · tabla de la serie · cómo se midió
21.8/100 · scoring v4
IC bootstrap de tareas al 95%: 19.6–23.8 · rank #11 en esta serie, rango de rank bajo sensibilidad de pesos #11–#11 · cómo
Resumen en lenguaje sencillo
No funciona como agente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
Débil en
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 91 | 55 | 0 | 0 | 0 | 21.5 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-mistral-7b· 2026-10-27T08:37:17+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-27T08:37:17+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 19.8 / 22.2 / 23.4 (DE 1.83, rango 19.8–23.4)
- GGUF sha256:
f5074b1221da0f5a2910d33b642efa5b9eb58cfdddca1c79e16d7ad28aa2b31f - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.
- sha256 de plantilla GGUF (normalizado):
26a59556925c987317ce5291811ba3b7f32ec4c647c400c6cc7e3a9993007ba7 - sha256 de referencia upstream (normalizado):
603a4c4659c7bb1d0a2d666e5d4560b4b533dbbf6a3eb1d041509652cf7890f1· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.