Tokenizador: cuántos tokens ocupa tu texto
Un modelo no lee letras ni palabras: lee tokens. Mira cómo parten tu texto los tokenizadores de los modelos que usamos y cuánto ocupa la misma frase en español y en inglés. Sin registro y sin enviar nada: corre en tu navegador.
Mira cómo parte un modelo tu texto
Elige un tokenizador, escribe o pega un texto y verás cada token con su número.
No se descarga nada hasta que eliges uno. Los archivos salen de vorluxai.com y tu texto no sale de tu navegador.
Elige un tokenizador para empezar.
Los tokens aparecen aquí al elegir un tokenizador.
Cada color es un token; pasa el ratón o toca uno para ver su número. · es un espacio, ↵ un salto de línea y ▫ un trozo de carácter que completa el token siguiente.
La misma frase en español y en inglés
Tres textos de oficina y su traducción. Tu navegador cuenta los tokens de cada versión con el tokenizador elegido.
| Texto | Español | Inglés |
|---|---|---|
| Correo a un proveedor | – | – |
| Aviso de privacidad | – | – |
| Acta de reunión | – | – |
| Total | – | – |
Ver los textos
- Correo a un proveedorHola, Marta: te confirmo el pedido de doce filtros de aceite para el jueves. ¿Puedes enviarnos la factura con el IVA desglosado? Gracias y un saludo.Hi Marta, I am confirming the order of twelve oil filters for Thursday. Could you send us the invoice with the VAT shown separately? Thanks and best regards.
- Aviso de privacidadLos datos de nuestros clientes se guardan en un servidor de la oficina y nunca salen de nuestra red.Our customers' data is stored on a server in the office and never leaves our network.
- Acta de reuniónEn la reunión del lunes acordamos revisar los contratos pendientes antes de final de mes y responder a todas las reclamaciones abiertas.At Monday's meeting we agreed to review the pending contracts before the end of the month and to answer every open complaint.
Elige un tokenizador y la tabla se rellena sola.
Siguiente paso: Reparte un contexto en el Dev Playground Explorador de VRAM
Qué estás viendo
Un tokenizador convierte el texto en una lista de números, uno por token. Un token puede ser una palabra entera, un trozo de palabra, un espacio con lo que le sigue o un solo byte. El modelo solo ve esos números, y todo lo que se mide en un modelo se mide en tokens: el contexto que cabe, la memoria que reserva la caché y la velocidad de respuesta.
Cada familia de modelos trae su propio vocabulario, así que el mismo texto no da el mismo número de tokens en Qwen, en Gemma o en Llama. Por eso un contexto de 8k no es «8.000 palabras», y por eso conviene contar con el tokenizador del modelo que vas a usar.
La tabla de español e inglés no es una media de nada: son tres textos fijos, contados en tu navegador con el tokenizador que elijas. Si en tus documentos la columna española sale más alta, ese margen es contexto y memoria que tienes que prever.
Sigue por aquí: cuánta memoria cuesta cada tamaño de contexto, medido · la cuenta de la VRAM, paso a paso · reparte un presupuesto de contexto tú mismo
Funciona con tokenizers.js de Hugging Face (Apache-2.0), servido desde vorluxai.com. Vocabularios: Qwen (Apache-2.0), Gemma 4 (Apache-2.0) y Llama 3 (Llama 3 Community License). Built with Meta Llama 3. Fuentes, licencias y sumas sha256: NOTICE.
Cuéntanos qué quieres ejecutar
Dinos qué quieres ejecutar y con qué presupuesto. Te decimos qué hardware necesitas, qué modelo encaja y qué puedes esperar de él, antes de que gastes nada.
101 guías gratuitas · 17 plantillas de cumplimiento