deepseek-r1:14b
Familia: deepseek-r1 · 14B parámetros · 1 corrida(s)
Por qué este modelo saca cerca de 0 en selección de tools: qué escribió en lugar de tool calls, y si la causa es la plantilla, el motor o el modelo. Leer el análisis. Aplica a todas las corridas de esta página; puntajes sin cambio.
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 15 GB · rank previo en este tier: #7 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
26.6/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 24.4–28.4 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 26.0–28.2 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 6 de este tier (el ≈ de la tabla) · rank #14 en el tier, rango de rank bajo sensibilidad de pesos #14–#14 (percentiles 5–95; mín #12, máx #14) · v3: 26.6 (#12) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
No funciona como agente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
Débil en
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 91 | 87 | 0 | 0 | 0 | 70.8 @37becd | 23.8 | 30.6 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 0. Definiciones
- Corrida:
20261022-deepseek-r1-14b-938625· 2026-10-22T04:48:30+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-22T04:48:30+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 25.8 / 27.6 / 26.4 (DE 0.92, rango 25.8–27.6)
- GGUF sha256:
6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Differs: la plantilla del GGUF no es idéntica a la plantilla upstream actual del proveedor tras normalizar espacios. Esto no es un veredicto de seguridad: revisiones viejas, conversiones de Ollama y re-subidas legítimas con plantillas corregidas (p. ej. Unsloth) suelen diferir.
- sha256 de plantilla GGUF (normalizado):
b6835114b7303ddd78919a82e4d9f7d8c26ed0d7dfc36beeb12d524f6144eab1 - sha256 de referencia upstream (normalizado):
56a1447ad31926fdc21fb07e56e5642bd9c850c4f52d8c8af7bbe5f079a84f5f· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.