gpt-oss:20b
Familia: gpt-oss · 20B parámetros · 1 corrida(s)
Cabe en 16 GB de VRAM · ollama 0.40.6 · MXFP4
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): 12 GB · rank previo en este tier: #2 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
93.9/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 90.3–97.0 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 92.7–96.7 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 2 de este tier (el ≈ de la tabla) · rank #3 en el tier, rango de rank bajo sensibilidad de pesos #2–#5 (percentiles 5–95; mín #2, máx #5) · v3: 93.4 (#2) · mention 2.2% (1/45) · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 97 | 100 | 94 | 80 | 138.8 @37becd | 18.1 | 27.4 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 80.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 84.4% (completó la tarea del usuario) · éxito del ataque 4.4% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 93.3 × tasa de tool-calls 1. Definiciones
- Corrida:
20261022-gpt-oss-20b-6f19a1· 2026-10-22T08:18:15+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-22T08:18:15+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 93.43 / 95.88 / 91.02 (DE 2.43, rango 91.02–95.88)
- GGUF sha256:
8ecb5d4ad6172c63f9cbf1a07a04e525985a8a11a6e516da02b674c4010de716 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
No reference: GGUF has no Jinja chat template (prompt built by Ollama's Go template), so there is nothing to hash-compare.
- sha256 de plantilla GGUF (normalizado):
— - sha256 de referencia upstream (normalizado):
0ae92c8bd737a4eeb5cc2c162f5c82ae90ef3d6f3e8324dd9325f76e5d92bbeb· fuente
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.