gemma4:31b-it-q8_0
Familia: gemma4 · 31B parámetros · 1 corrida(s)
Tarjeta grande: NVIDIA A100 SXM4 80 GB (contenedor RunPod) · ollama 0.40.6 · Q8_0
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. El trial 3 (run_id 20261104-gemma4-31b-it-q8_0-cf9fc7) es el outlier: multistep 0% contra 88.57% en los otros dos. Se publica, no se descarta, y es lo que baja la media del modelo de ~96.6 a 80.78. · tabla de la serie
80.8/100 · scoring v4
IC bootstrap de tareas al 95%: 78.5–82.5 · rank #2 en esta serie · ≈ grupo de empate 2, rango de rank bajo sensibilidad de pesos #2–#3 · cómo
Resumen en lenguaje sencillo
Sólido para agentes — resuelve bien la mayoría de tareas con tools.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 100 | 99 | 59 | 67 | 20.1 @ae7605 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 66.7% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 66.7% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
a10064-gemma4-31b-it-q8-0· 2026-11-04T16:02:07+00:00 - Hardware: Large card: NVIDIA A100 SXM4 80 GB (RunPod container) · NVIDIA A100-SXM4-80GB · Linux 6.8.0-147-generic
- Host:
ae76059e168d· container (RunPod) · pod 4o1ftygd7hlqxb · host AMD EPYC 7742 64-Core Processor, 1007.6 GB RAM · medido 2026-11-04T16:02:07+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- GGUF sha256:
604816c521aa780a6b61841f03d4598002feb2d8c73b3aefaf4861d17461dfec - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Sin referencia
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.