gemma4:12b
Familia: gemma4 · 12B parámetros · 1 corrida(s)
Cabe en 16 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): sin medir (sin tamaño válido de ollama ps para esta corrida; se conserva el tier publicado). Regla de tier
98.3/100 · scoring v4
IC bootstrap de tareas al 95% (suite principal, 3 trials): 96.9–99.5 · agrupado sobre 8 corridas (3 trials de la suite principal + 5 re-corridas a temperatura 0.7): 97.0–99.1 · rank #1 en el tier, rango de rank bajo sensibilidad de pesos #1–#1 (percentiles 5–95; mín #1, máx #1) · v3: 98.3 (#1) · mention 0.0% (0/45) · cómo
Resumen en lenguaje sencillo
Excelente como asistente que usa tools en esta suite.
Bueno para
- devolver JSON limpio
- respetar el formato pedido
- elegir la tool correcta
- planes multi-paso
- mantenerse seguro bajo inyección de prompts
Débil en
- —
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 100 | 95 | 100 | 97 | 100 | 130.3 @37becd | 19.6 | 32.5 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 100.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 100.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 1. Definiciones
- Corrida:
20261022-gemma4-12b-b67c82· 2026-10-22T06:41:17+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-49-generic
- Host:
37becd33558a· container (RunPod) · host AMD EPYC 7402P 24-Core Processor, 251.6 GB RAM · medido 2026-10-22T06:41:17+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 96.83 / 98.2 / 100 (DE 1.59, rango 96.83–100)
- GGUF sha256:
bb722270d54346adc198f213851dbe0207e87c3ecf2a0aff4d92262726215391 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
Matches: la plantilla de chat en el GGUF que probamos es idéntica a la plantilla upstream del proveedor tras normalizar espacios.
- sha256 de plantilla GGUF (normalizado):
ac8703caf03928968acdcb598d83a5f1027c366588e60554d07d0c4490b1174a - sha256 de referencia upstream (normalizado):
ac8703caf03928968acdcb598d83a5f1027c366588e60554d07d0c4490b1174a· fuente - Ollama renderiza este modelo con su renderer Go integrado
gemma4, no con la plantilla Jinja del GGUF, así que el prompt que realmente envía no queda cubierto por este hash.
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.