gemma3:4b
Familia: gemma3 · 4B parámetros · 3 corrida(s)
The Ollama chat template for this model has no native tool-calling support, so the harness cannot issue tool calls. Its 0 on JSON/schema/tool/multi-step and 100 on injection reflect that, not model quality. Not comparable to other models. Los sub-puntajes crudos de abajo se muestran solo por transparencia; este modelo aparece sin puntaje numérico al final de su tier. Methodology
Este modelo también está en el estudio de modo tools (tool calling solo-texto y con gramática). Esos resultados son aparte y no forman parte de su puntaje aquí.
Cabe en 8 GB de VRAM · ollama 0.40.6 · Q4_K_M
VRAM medida a contexto 32K (KV cache incluido, ollama ps en la RTX 3090): sin medir (sin tamaño válido de ollama ps para esta corrida; se conserva el tier publicado). Regla de tier
n/a Sin soporte nativo de tools
Resumen en lenguaje sencillo
Sin puntaje (sin soporte nativo de tools).
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 | 159.1 @dc7718 | 11.6 | 12.1 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 0. Definiciones
- Corrida:
20261020-gemma3-4b-d16860· 2026-10-20T20:46:24+00:00 - GPU: NVIDIA GeForce RTX 3090 (24 GB) · Linux 6.8.0-57-generic
- Host:
dc7718586fbe· container (RunPod) · host AMD EPYC 7663 56-Core Processor, 251.5 GB RAM · medido 2026-10-20T20:46:24+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 0 / 0 / 0 (DE 0, rango 0–0)
- GGUF sha256:
f06e91e18fc74295d0c781bf91622508c75655e2c18ed869d52447ffe1e667e1 - Divulgación de patrocinio: none
Apple M2 16GB memoria unificada, macOS · ollama 0.40.6 · Q4_K_M
n/a Sin soporte nativo de tools
Resumen en lenguaje sencillo
Sin puntaje (sin soporte nativo de tools).
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 | 32.8 @8b306c | 7.2 | 7.2 |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). v2.1 usaba resistencia a inyección 100.0 × tasa de tool-calls 0. Definiciones
- Corrida:
20261021-gemma3-4b-1cd60d· 2026-10-21T02:31:35+00:00 - Hardware: Apple M2 16GB unified memory, macOS · Apple M2 GPU (unified memory) · macOS 27.0.1 (arm64)
- Host:
8b306c4ac94a· tipo sin registrar · host Apple M2, 16 GB RAM · medido 2026-10-21T02:31:35+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9.dirty (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra 8192; ver Metodología)
- Puntaje por trial (v3): 0 / 0 / 0 (DE 0, rango 0–0)
- GGUF sha256:
f06e91e18fc74295d0c781bf91622508c75655e2c18ed869d52447ffe1e667e1 - Divulgación de patrocinio: none
Tarjeta real de 8 GB: NVIDIA RTX 3070 8 GB (contenedor RunPod) · ollama 0.40.6 · Q4_K_M
Serie aparte, no forma parte del ranking del tier. 3 corrida(s) de un solo trial fusionadas, scoring v3 desde los logs. Sin tool calling nativo en su plantilla de chat de Ollama (igual que en la RTX 3090), así que no se rankea; el total v3 crudo es 0. Split CPU/GPU (ollama ps): 2.9 GB 100% GPU · VRAM pico (nvidia-smi): 4429 MiB de 8192 MiB · t2, t3: the model was not resident during the trial (`ollama ps` empty, nvidia-smi about 1 MiB used); those VRAM samples are not a measurement of the model. Peak VRAM is taken over the other trial(s). · tabla de la serie · cómo se midió
n/a Sin soporte nativo de tools
Resumen en lenguaje sencillo
Sin puntaje (sin soporte nativo de tools).
Desglose por categoría
| JSON | Schema | Tool | Multi-paso | Inyección (útil y segura) | tok/s | p50 s/tarea | p95 s/tarea |
|---|---|---|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 | 119.7 @8fcb65 | — | — |
Inyección de prompts (15 tareas × 3 trials): útil y segura 0.0% (tarea completada y no comprometida; cuenta en el puntaje) · utilidad bajo ataque 0.0% (completó la tarea del usuario) · éxito del ataque 0.0% (siguió la instrucción inyectada). Definiciones
- Corrida:
real8gb-gemma3-4b· 2026-10-26T21:02:21+00:00 - Hardware: Real 8 GB card: NVIDIA RTX 3070 8 GB (RunPod container) · NVIDIA GeForce RTX 3070 · Linux 6.8.0-85-generic
- Host:
8fcb655dfb7d· container (RunPod) · pod b3o5tul56pnqfv · asignación del pod 8 vCPU / 30 GB · host AMD Ryzen 7 5700X 8-Core Processor, 62.7 GB RAM · medido 2026-10-26T21:02:21+00:00 · hosts - Harness: hermes-agent Hermes Agent v0.22.2+2363.g9cb34e9 (2026.9.24) · stable · local 9cb34e9e285d · trials 3 · muestreo: default de Ollama (temperatura y seed no los pone el harness) · ventana de contexto: 32768 tokens cargados por Ollama (el campo no usado del runner registra ; ver Metodología)
- Puntaje por trial (v3): 0 / 0 / 0 (DE 0, rango 0–0)
- GGUF sha256:
f06e91e18fc74295d0c781bf91622508c75655e2c18ed869d52447ffe1e667e1 - Divulgación de patrocinio: none
Plantilla de chat vs upstream
No reference: no upstream Jinja reference available (gated repo or provider publishes no Jinja template).
- sha256 de plantilla GGUF (normalizado):
1c1193119e155227f9a1cd934cac8895ab0a1b8a49fca8bbb480aa424a2e74eb - sha256 de referencia upstream (normalizado):
—
Las etiquetas solo son “matches / differs / no reference”, nunca safe/unsafe. Ollama puede usar una plantilla o renderer Go integrado en lugar del Jinja del GGUF. Por qué importan las plantillas: Backdoors en plantillas de chat. No forma parte del puntaje.