gemma4:e4b
Familia: gemma4 · 8B parámetros · 2 corrida(s)
Cabe en 8 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): sin medir (sin tamaño válido de ollama ps para esta corrida; se conserva el tier publicado) · rank previo en este tier: #1 (results v0.1.1, antes del re-tiering v0.1.2; puntaje sin cambio). Regla de tier
94.7/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 91.7–97.4 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 91.1–97.0 · ≈ empatado estadísticamente con otros modelos en el grupo de empate agrupado 1 de este tier (el ≈ de la tabla) · rank #2 en el tier, rango de rank bajo sensibilidad de pesos #2–#2 (percentiles 5–95; mín #2, máx #2) · v3: 94.7 (#1) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 99 | 95 | 100 | 89 | 96 | 200.6 @37becd | 16.3 | 22.0 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 95.6% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 95.6% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 1. Definiciones
- Corrida:
20261021-gemma4-e4b-239167· 2026-10-21T23:05:19+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-21T23:05:19+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 97.09 / 91.25 / 95.71 (DE 3.05, rango 91.25–97.09)
- GGUF sha256:
370c2879f17648d337b0ab4e208fdce348e24d1060064e93d7645daafd56d39c - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Split CPU/GPU (ollama ps): 398 MB 100% GPU · VRAM pico (nvidia-smi): 5255 MiB de 8192 MiB · tabla de la serie · cómo se midió
94.1/100 · scoring v4
IC bootstrap de tareas al 95%: 91.0–96.8 · rank #2 en esta serie · ≈ grupo de empate 1, rango de rank bajo sensibilidad de pesos #2–#2 · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 92 | 100 | 86 | 98 | 171.3 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 97.8% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 97.8% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-gemma4-e4b· 2026-10-26T23:35:28+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-26T23:35:28+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 93.91 / 95.11 / 93.18 (DE 0.97, rango 93.18–95.11)
- GGUF sha256:
370c2879f17648d337b0ab4e208fdce348e24d1060064e93d7645daafd56d39c - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.
- sha256 de plantilla GGUF (normalizado):
1826ab2f604bd3435071fe9898a49b898fafc299d12f8a274bd3b948af91c847 - sha256 de referencia upstream (normalizado):
1826ab2f604bd3435071fe9898a49b898fafc299d12f8a274bd3b948af91c847· fuente - Ollama renderiza este modelo con su renderer Go integrado
gemma4, no con la plantilla Jinja del GGUF, así que el prompt que realmente envía no queda cubierto por este hash.
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.