llama3.3:70b
Familia: llama3.3 · 70B parámetros · 1 corrida(s)
Tarjeta grande: NVIDIA A100 SXM4 80 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Estable entre trials (67.5-68.9). Las tool calls son correctas, pero multistep se queda en 20-25.7% frente a 100% de corrección de tools. · tabla de la serie
68.3/100 · scoring v4
IC bootstrap de tareas al 95%: 62.1–74.5 · rank #4 en esta serie, rango de rank bajo sensibilidad de pesos #4–#4 · cómo
Resumen en lenguaje sencillo
Mixto — útil en algunas tareas de agente, flojo en otras.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
Débil en
- planes multi-paso
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 87 | 100 | 22 | 69 | 20.1 @ae7605 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 68.9% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 68.9% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
a10064-llama3.3-70b· 2026-11-04T18:11:39+00:00 - Hardware: Large card: NVIDIA A100 SXM4 80 GB (RunPod container) · NVIDIA A100-SXM4-80GB · Linux 6.8.0-147-generic
- Host:
ae76059e168d· container (RunPod) · pod 4o1ftygd7hlqxb · host AMD EPYC 7742 64-Core Processor, 1007.6 GB RAM · medido 2026-11-04T18:11:39+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- GGUF sha256:
4824460d29f2058aaf6e1118a63a7a197a09bed509f0e7d4e2efb1ee273b447d - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Sin referencia
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.