qwen2.5:72b
Familia: qwen2.5 · 72B parámetros · 1 corrida(s)
Tarjeta grande: NVIDIA A100 SXM4 80 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Muy estable (78.6-80.0); el componente débil es multistep (45.7-51.4%) con json/schema al 80-84%. · tabla de la serie
79.2/100 · scoring v4
IC bootstrap de tareas al 95%: 72.8–85.2 · rank #3 en esta serie · ≈ grupo de empate 2, rango de rank bajo sensibilidad de pesos #2–#3 · cómo
Resumen en lenguaje sencillo
Sólido para agentes — resuelve bien la mayoría de tareas con tools.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- mantenerse seguro bajo inyección de prompts
Débil en
- planes multi-paso
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 83 | 81 | 100 | 49 | 100 | 20.1 @ae7605 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 100.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 100.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
a10064-qwen2.5-72b· 2026-11-04T23:56:29+00:00 - Hardware: Large card: NVIDIA A100 SXM4 80 GB (RunPod container) · NVIDIA A100-SXM4-80GB · Linux 6.8.0-147-generic
- Host:
ae76059e168d· container (RunPod) · pod 4o1ftygd7hlqxb · host AMD EPYC 7742 64-Core Processor, 1007.6 GB RAM · medido 2026-11-04T23:56:29+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- GGUF sha256:
6e7fdda508e91cb0f63de5c15ff79ac63a1584ccafd751c07ca12b7f442101b8 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Sin referencia
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.