En 30 minutos sabrás cuántos tokens por segundo saca tu propia máquina con tres modelos locales y cuál merece quedarse. Sin hardware nuevo, sin cuenta y sin clave de API.
Qué necesitas
- Hardware: el portátil o el sobremesa que ya tienes. Guía orientativa de memoria, sacada de los tamaños cargados de nuestra tabla más margen para el sistema operativo:
- 8 GB de RAM: modelos de 3B a 4B.
- 16 GB de RAM: modelos de 7B a 8B.
- 32 GB o más: modelos de 14B a 26B.
- Software: Ollama (gratuito, de código abierto) y un terminal.
- Tiempo: 30 minutos, casi todo descargas.
En un Mac con Apple Silicon la GPU comparte la memoria del sistema, así que la regla de RAM lo dice todo. En Windows o Linux con una tarjeta gráfica aparte, lo que cuenta es cuánto modelo cabe en la VRAM de la tarjeta.
Paso 1: Instala Ollama
Ollama ejecuta el modelo y esconde la fontanería de llama.cpp detrás de un comando. En macOS o Windows, usa el instalador de ollama.com. En Linux:
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionEsperado: ollama version 0.x.x.
Si falla: command not found significa que la instalación no terminó o que tu terminal aún no ve el PATH nuevo. Abre un terminal nuevo. Si el servicio no arranca, otra aplicación está usando el puerto 11434.
Paso 2: Descarga tres modelos de tamaños distintos
Elige uno pequeño, uno mediano y uno grande. Tres modelos del mismo tamaño no te dicen nada; tres tamaños te enseñan dónde deja de dar abasto tu máquina.
ollama pull llama3.1:8b
ollama pull qwen2.5-coder:7b
ollama pull gemma4:26bCon 8 GB de RAM, cambia gemma4:26b por un modelo de 3B como llama3.2:3b.
Si falla: una descarga cortada se reanuda si repites el mismo pull. “Insufficient space” significa que necesitas unos 28 GB libres (4,9 + 4,7 + 18 GB para estos tres).
Usa el mismo prompt en todas las pruebas para que lo único que cambie sea el modelo. Lo dejamos en inglés, igual que en nuestras mediciones:
“Analyze the following text for key entities and summarize the main action in one sentence: The quick brown fox jumps over the lazy dog near the riverbank in Valencia.”
Paso 3: Mide dos veces cada modelo
La primera ejecución carga el modelo desde el disco, así que sus números incluyen la carga. Descártala y quédate con la segunda.
ollama run llama3.1:8b --verbosePega el prompt. Tras la respuesta, Ollama imprime:
| Línea | Qué te dice |
|---|---|
eval rate | Velocidad de generación, tokens por segundo. El número que importa. |
prompt eval rate | Lo rápido que lee tu prompt. |
load duration | Tiempo para meter el modelo en memoria (casi cero en la segunda). |
total duration | Todo junto. |
Con el modelo aún cargado, ejecuta ollama ps en otro terminal y apunta la columna de tamaño.
¿Prefieres algo que puedas automatizar? La API devuelve los mismos contadores en JSON:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Analyze the following text for key entities and summarize the main action in one sentence: The quick brown fox jumps over the lazy dog near the riverbank in Valencia.",
"stream": false
}'Divide eval_count entre eval_duration (nanosegundos) y multiplica por 10⁹ para obtener tokens por segundo.
Si se queda colgado: el modelo no cabe en memoria y la máquina está tirando de disco. Páralo con Ctrl+C y prueba un modelo o un archivo más pequeño; nuestra guía de cuantización GGUF explica cómo elegirlo.
Paso 4 (opcional): una segunda opinión con llama-bench
Para comprobar que los números no son una rareza de Ollama, llama-bench de llama.cpp mide por separado la lectura y la escritura con longitudes fijas:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release --target llama-bench
./build/bin/llama-bench -m ruta/a/tu/modelo.gguf -p 512 -n 512Imprime una fila para el procesado del prompt y otra para la generación. llama.cpp solo se compila con CMake (su antiguo Makefile ya solo muestra un error), así que si falla, casi siempre falta CMake o un compilador de C++.
Qué medimos
Nuestras mediciones de referencia, para que tengas con qué comparar. Rellena la última fila con las tuyas.
| Modelo | Tamaño cargado | Generación tok/s | Prompt tok/s | Primer token (s) | Tiempo total, 200 tokens (s) |
|---|---|---|---|---|---|
| llama3.1:8b | 9,2 GB | 40,2 | 3342,4 | 0,37 | 5,3 |
| qwen2.5-coder:7b | 6,6 GB | 42,1 | 3162,0 | 0,33 | 5,1 |
| gemma4:26b | 17,5 GB | 62,0 | 1864,3 | 0,69 | 3,9 |
| Tuyo (segunda ejecución) |
Medido el 17-10-2026 en nuestra NVIDIA DGX Spark (GB10, 128 GB de memoria unificada), Ollama 0.30.10, segunda ejecución, límite de 200 tokens, temperatura 0. Nuestras pruebas usaron un prompt más largo (278 palabras) que el de arriba, así que compara tu columna de generación con la nuestra; la velocidad de lectura depende de la longitud del prompt. El script es scripts/bench/local_model_benchmark.py y todas las ejecuciones, incluidas las primeras en frío, están en docs/measurements/local-model-benchmark-2026-10-17.json en nuestro repositorio.
Dos trampas en las que caímos al medir. Si envías el mismo prompt dos veces, Ollama reaprovecha el trabajo de la primera: nuestra segunda ejecución “leyó” 333 tokens en 0,03 segundos, más de 10.000 tok/s, una velocidad que ningún prompt nuevo va a ver. Cambia la primera línea del prompt entre ejecuciones (nosotros añadimos “Request 2 of 3.”). Y gemma4 es un modelo que razona: con el razonamiento activado, piensa antes de escribir la primera palabra visible. Lo desactivamos ("think": false en la API) para que los tres modelos escribieran 200 tokens visibles.
Lo que no te dice la ficha técnica
- Más grande no siempre es más lento. El modelo de 26B generó un 50 % más rápido que el de 7B y el de 8B en nuestra máquina. gemma4:26b es un modelo de mezcla de expertos: tiene 128 expertos y usa 8 en cada token, así que cada token toca solo una parte de sus 26.000 millones de parámetros. Aun así necesita memoria para todos. El número de parámetros no predice la velocidad; la arquitectura y el archivo que descargas pesan igual. Por eso se mide.
- Un chat necesita menos de lo que crees. Cualquier cosa por encima de la velocidad de lectura se siente instantánea en una ventana de chat. Donde los tokens por segundo se convierten en horas es en los trabajos por lotes (resumir 500 documentos de noche).
- La memoria es el muro. Un modelo que no cabe no va lento: casi no va.
Cuándo no merece la pena
Si la tarea es un documento largo al mes, el modelo en la nube que ya pagas sirve. Lo local gana cuando los datos no pueden salir de tu edificio, cuando el volumen es alto o cuando quieres la misma respuesta siempre sin cambios de precio.
Próximos pasos
- Elige el tamaño de archivo para tu RAM: cuantización GGUF explicada.
- Mira qué compra cada presupuesto: hardware por presupuesto.
- Calcula la memoria antes de descargar: calculadora de VRAM.
Trabaja con nosotros
Podemos hacer este análisis con tus datos reales antes de recomendar hardware. Una conversación de 30 minutos suele bastar para saber si tiene sentido en tu caso: reserva una llamada o mira cómo trabajamos en consultoría.