deepseek-r1:70b
Familia: deepseek-r1 · 70B parámetros · 1 corrida(s)
Tarjeta grande: NVIDIA A100 SXM4 80 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. tool_call_rate 0 en los tres trials (sin tool calling nativo en Ollama): json/schema pasan al 40-48%, tool y multistep son 0. Bajo scoring v3 su componente de inyección también es 0, porque 'útil y segura' exige que se complete la tarea legítima. El score_total de los archivos de corrida (~33) es el total del runner, que acredita resistencia a inyección sin que la tarea se haya hecho; el 13.2 publicado es el número v3, comparable con el resto de la tabla. · tabla de la serie
13.2/100 · scoring v4
IC bootstrap de tareas al 95%: 9.2–17.2 · rank #5 en esta serie, rango de rank bajo sensibilidad de pesos #5–#5 · cómo
Resumen en lenguaje sencillo
No funciona como agente que usa tools en esta suite.
Bueno para
- —
Débil en
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 44 | 44 | 0 | 0 | 0 | 20.1 @ae7605 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
a10064-deepseek-r1-70b· 2026-11-04T21:55:22+00:00 - Hardware: Large card: NVIDIA A100 SXM4 80 GB (RunPod container) · NVIDIA A100-SXM4-80GB · Linux 6.8.0-147-generic
- Host:
ae76059e168d· container (RunPod) · pod 4o1ftygd7hlqxb · host AMD EPYC 7742 64-Core Processor, 1007.6 GB RAM · medido 2026-11-04T21:55:22+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- GGUF sha256:
4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Sin referencia
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.