Qué es un token en IA: lo que pagas y lo que recuerda

Un token es el trozo de texto con el que trabaja la IA, y decide la factura y la memoria del modelo. He medido el mismo texto con cinco tokenizadores: en español gasta entre un 26 % y un 56 % más que en inglés.

Tira de papel cortada con unas tijeras en trozos que se alinean como bloques de colores sobre una mesa de trabajo, junto a una taza de café

Durante años, los tokens fueron cosa de quien programaba contra una API. Hoy aparecen en las tarifas de los chatbots, en los límites de uso y en la ficha de cada modelo nuevo. Qué es un token en IA tiene una respuesta corta: es el trozo de texto con el que trabaja el modelo. Lo interesante es lo que cuelga de esa definición.

El token decide cuánto pagas y cuánto texto cabe en una conversación. Para esta guía he pasado el mismo texto, en español, en inglés y en chino, por cinco tokenizadores reales. Los números no favorecen a nuestro idioma, ni frente al inglés ni, casi siempre, frente al chino.

Qué es un token en IA

Un token es la unidad mínima de texto que procesa un modelo de lenguaje. Puede ser una palabra entera, un trozo de palabra, un signo de puntuación o un espacio pegado a la palabra siguiente. El modelo no recibe letras, sino números: cada número identifica un token de su vocabulario y, ya dentro, se convierte en el vector con el que opera.

La pieza que convierte el texto en tokens se llama tokenizador. Corta tu texto en fragmentos que conoce y entrega la lista de identificadores.

OpenAI da una regla aproximada para el inglés: un token equivale a unos cuatro caracteres, o a tres cuartos de palabra. La propia compañía avisa de que otros idiomas se comportan distinto. Ese matiz es el que importa si escribes en español.

Por qué ahora: el tokenizador también cambia

El token es la unidad en la que se cobra, y en 2026 hemos visto que esa unidad tampoco es fija. El 16 de abril, Anthropic lanzó Claude Opus 4.7 con un tokenizador actualizado. La empresa avisa de que el mismo texto puede ocupar ahora hasta un 35 % más de tokens, dependiendo del tipo de contenido.

Su página de precios lo resume así: los modelos Claude 4.7 y posteriores generan alrededor de un 30 % más de tokens para el mismo texto. El precio por millón no subió, pero el número de tokens sí. En julio, The Register tituló que ese tokenizador complica los precios de la IA. Comparar tarifas entre modelos con tokenizadores distintos es comparar precios por kilo con básculas que no pesan igual.

Cómo se trocea un texto en tokens

Los cinco tokenizadores que he probado para esta guía usan alguna variante de BPE (byte pair encoding), aunque no es el único método que existe. Nació como algoritmo de compresión: Philip Gage lo publicó en 1994 en The C Users Journal. En 2016, Rico Sennrich y sus coautores lo adaptaron a la traducción automática para manejar palabras raras a base de trozos.

Se parte de caracteres sueltos y se fusiona, una y otra vez, la pareja que más se repite en los textos de entrenamiento. Al final, las palabras frecuentes son un solo token y las raras se quedan en varios trozos. Es como un teclado con atajos: lo habitual tiene tecla propia y lo demás se teclea por partes.

Lo he comprobado con o200k_base, el tokenizador que OpenAI usa desde GPT-4o:

  • «inteligencia» y «ordenador» entran enteras, en un solo token.
  • «desafortunadamente» necesita tres piezas; «unfortunately», solo una.
  • «Alcorcón», donde vivo, se queda en cuatro trozos. A este tokenizador mi ciudad le parece rara.

El vocabulario se construye con los textos de entrenamiento, y en ellos pesa mucho el inglés. Lo que aparece poco se trocea más, y cada trozo cuenta.

Lo he medido: el español gasta más tokens que el inglés

Para una comparación justa necesitaba la misma información en los dos idiomas. Usé la Declaración Universal de Derechos Humanos en las versiones oficiales de la ONU, del preámbulo al artículo 30. La inglesa tiene 1.741 palabras; la española, 1.940.

Pasé los dos textos por los dos tokenizadores de OpenAI, con su biblioteca tiktoken (versión 0.13.0), y por los de tres modelos abiertos que tengo descargados:

Tokenizador Vocabulario Inglés Español Español frente a inglés
cl100k_base (GPT-4) 100.277 2.005 3.034 +51 %
o200k_base (GPT-4o y posteriores) 200.019 2.006 2.530 +26 %
Gemma 4 262.144 2.066 2.603 +26 %
Qwen 3.6 248.070 2.081 2.668 +28 %
Mistral 7B 32.000 2.263 3.526 +56 %

Primera lectura: el mismo contenido en español gasta entre un cuarto y algo más de la mitad de tokens extra. Parte es del idioma, que en este texto usa un 11 % más de palabras. El resto lo pone el tokenizador: con o200k, cada palabra española sale a 1,30 tokens y cada inglesa a 1,15. Medida así, por palabra, la penalización va del 13 % de o200k y Gemma 4 al 40 % de Mistral 7B.

Segunda lectura, más optimista: los vocabularios de 200.000 entradas o más han reducido la brecha a la mitad. Se pasa del 51 % de cl100k al 26 % de o200k. Mistral 7B, con solo 32.000 entradas, es el que peor trata al español.

Un trabajo de la Universidad de Oxford (NeurIPS 2023) encontró que el mismo texto traducido puede ocupar hasta 15 veces más tokens según el idioma. Nuestra brecha es moderada al lado de ese extremo, pero se paga.

Y en chino: depende de quién haya hecho el tokenizador

Repetí la medición con la versión oficial en chino de la misma Declaración, también de la web de la ONU. Es buena prueba porque el chino no separa las palabras con espacios y usa miles de caracteres distintos. Aquí no cuento palabras: comparo el total de tokens del mismo contenido.

Tokenizador Chino Chino frente a inglés Chino frente a español
cl100k_base (GPT-4) 3.397 +69 % +12 %
o200k_base (GPT-4o y posteriores) 2.279 +14 % −10 %
Gemma 4 2.004 −3 % −23 %
Qwen 3.6 1.696 −19 % −36 %
Mistral 7B 3.281 +45 % −7 %

El texto chino tiene 2.894 caracteres, frente a los 10.597 del inglés. Cada sinograma condensa mucho, pero eso solo abarata la cuenta si el tokenizador lo conoce. Con cl100k, el chino necesita más tokens que caracteres y queda incluso por detrás del español. Con Qwen 3.6, de Alibaba, cada token abarca 1,7 caracteres de media y el chino gasta un 19 % menos que el inglés.

Se ve bien con la frase que abre el artículo 1, «人人生而自由,在尊严和权利上一律平等。», la que en español empieza «Todos los seres humanos nacen libres e iguales en dignidad y derechos». Son 19 caracteres contando la puntuación:

  • cl100k la parte en 21 tokens, más que caracteres: «尊严» (dignidad) se le queda en cuatro trozos de bytes.
  • o200k la deja en 15: junta «人人» (todos) y «自由» (libres), pero aún corta en dos «尊严» y «权利» (derechos).
  • Qwen 3.6 la resuelve en 13, con «尊严», «权利» y «平等» (iguales) en un solo token cada una.

Para el español, la tabla trae otra mala noticia: con cuatro de los cinco tokenizadores, el mismo contenido en chino ocupa menos tokens. Solo el viejo cl100k trata peor al chino que a nuestro idioma. Frente al inglés, el chino gana con Gemma 4 y con Qwen 3.6, el único de los cinco que viene de una empresa china. Encaja con lo que contaba del vocabulario: un idioma sale caro o barato según cuánto pesó en los textos con los que se construyó.

No hace falta fiarse de mis tablas. Los scripts, los tres textos y las salidas completas están en un zip de 87 KB, con instrucciones para repetir la medición o probar otro tokenizador.

Por qué el token decide lo que pagas

Las API de IA cobran por millón de tokens y separan los de entrada, lo que envías, de los de salida, lo que genera el modelo. La salida es bastante más cara. En la tarifa oficial de Claude Sonnet 5.5, la entrada cuesta 2 dólares por millón y la salida, 10. En GPT-5.6 Terra, de OpenAI, son 2 y 12. Consulté estas tarifas a finales de octubre de 2026; cambian a menudo. Y no se comparan tal cual: cada modelo trocea con su propio tokenizador, y The Register recoge pruebas con código en las que el de Claude genera entre 1,5 y 1,7 veces más tokens que el de GPT-5.x.

Un ejemplo redondo: una consulta que envía 2.000 tokens y recibe 800 cuesta en Sonnet 5.5, a tarifa estándar, algo más de un céntimo de dólar. Mil consultas así salen por unos 12 dólares. Si en español el mismo trabajo genera un 26 % más de tokens, como en mi medición con o200k, la factura sube en esa proporción. Con el tokenizador de Claude, que no he medido, la cifra puede ser otra.

Hay tres consumos que no se ven en el chat:

  • Tokens de razonamiento. Los modelos que «piensan» antes de responder generan tokens que no llegas a leer. OpenAI y Anthropic los cobran como salida.
  • Imágenes. En Claude, una imagen de 1.000 × 1.000 píxeles equivale a 1.296 tokens visuales.
  • El historial. En la API de Claude, cada turno vuelve a enviar la conversación entera, y todo eso se cobra como entrada.

Los agentes de IA autónomos llevan esto al extremo: en cada paso releen instrucciones, herramientas y resultados. Es una cuenta que conviene hacer antes de llevar agentes a una empresa.

La contrapartida son los descuentos. En Sonnet 5.5, leer de la caché de prompts cuesta 10 céntimos de dólar por millón de tokens. La entrada normal cuesta 2 dólares. El procesamiento por lotes rebaja otro 50 %.

Ojo con los documentos largos: en algunos modelos, la tarifa depende del tamaño de la petición. Claude Haiku 5.5 cobra 0,10 dólares por millón de tokens de entrada y 0,50 por millón de salida mientras el prompt no pase de 100.000 tokens. Por encima, la petición entera pasa a 0,50 y 2,50.

Por qué el token decide lo que recuerda

La ventana de contexto es el número máximo de tokens que el modelo puede tener delante a la vez. Ahí entran tu mensaje, el historial, los adjuntos y su respuesta. Anthropic la describe como la memoria de trabajo del modelo.

Esa memoria dura lo que dura la petición, porque la API no guarda nada entre una llamada y la siguiente. Si un asistente se acuerda de ti en otra conversación, es porque la aplicación ha guardado notas aparte y las vuelve a meter en el contexto. Anthropic, por ejemplo, ofrece a los desarrolladores una herramienta de memoria que escribe esas notas en archivos.

En la API, los cuatro modelos actuales de Claude (Fable 5.1, Opus 5.5, Sonnet 5.5 y Haiku 5.5) tienen ventanas de un millón de tokens. Anthropic calcula que, con el tokenizador que estrenó Opus 4.7, caben unas 555.000 palabras. Ese es el tokenizador que no he medido; en los cinco que sí probé, el español siempre necesitó más tokens que el inglés.

Que algo quepa no significa que se use bien. El estudio Lost in the Middle (TACL, 2024) vio que los modelos aprovechan mejor lo que está al principio o al final del contexto. En 2025, Chroma evaluó 18 modelos y comprobó que su fiabilidad cae a medida que crece la entrada, incluso en tareas sencillas. La documentación de Anthropic ya le pone nombre: context rot.

En local hay otro límite, más físico. Cada token del contexto ocupa memoria mientras el modelo trabaja, en la llamada caché KV. En Llama 3.1 de 8.000 millones de parámetros, con 32 capas y 8 cabezas de claves y valores, a 16 bits son unos 128 KB por token; otro modelo u otra precisión dan otra cifra. A 128.000 tokens, su contexto máximo, la caché sola ronda los 16 GB. Súmale otros 16 GB del propio modelo y ya no cabe en los 24 GB de una RTX 4090.

Por eso en mis pruebas de IA local con 44 modelos dejé crecer el contexto a propósito: es lo que pasa en un chat real. A escala de centro de datos, esa misma sed de los aceleradores de IA es la que ha puesto la memoria RAM por las nubes.

Errores comunes con los tokens

Con lo que llevas leído, estos tropiezos se pueden evitar.

  • Pensar que un token es una palabra. En mi medición, una palabra española sale a 1,30 tokens con o200k y a 1,82 con Mistral 7B.
  • Reutilizar el recuento de otro modelo. Cada tokenizador da una cifra, y puede cambiar entre versiones del mismo proveedor, como pasó con Claude 4.7.
  • Creer que más contexto siempre ayuda. Pegar el documento entero «por si acaso» encarece la consulta y puede empeorar la respuesta. Deja lo importante al principio o al final.
  • Olvidar los tokens que no ves. OpenAI avisa de que la estructura de los mensajes, las herramientas, los esquemas y los archivos también suman a la entrada.
  • Culpar al token de todo. Se repite que la IA falla al contar las erres de «strawberry» por los tokens. Un estudio de 2024 apunta a otra causa: los modelos reconocen las letras, pero fallan al contarlas.

Preguntas frecuentes

¿Cuántas palabras son mil tokens?

Depende del idioma y del tokenizador. En inglés, OpenAI estima unas 750 palabras por cada mil tokens. En español, con los tokenizadores modernos que probé, salen entre 720 y 770 palabras; con los más antiguos, entre 550 y 640. Para una cifra exacta, cuenta con la herramienta del proveedor que vayas a usar.

¿Escribir al chatbot en inglés sale más barato?

Si pagas la API por uso, sí: el mismo encargo consume menos tokens. Con una suscripción de cuota fija, lo normal es que solo notes la diferencia en lo pronto que llegas al límite de uso. Antes de cambiar de idioma, piensa si te expresas igual de bien en inglés: un prompt peor sale más caro.

¿El chino gasta más tokens que el español?

Depende del tokenizador. En mi medición, el mismo texto en chino ocupó menos tokens que en español con cuatro de los cinco tokenizadores probados, hasta un 36 % menos con Qwen 3.6. Solo cl100k_base, el de GPT-4, le dio más tokens al chino. Frente al inglés, el chino solo salió ganando con Gemma 4 y Qwen 3.6.

¿Qué pasa cuando una conversación supera la ventana de contexto?

El modelo no puede leer más tokens de los que caben. Según la aplicación, se pierde lo más antiguo, se resume o la petición falla con un error. De ahí que en chats muy largos el asistente parezca olvidar instrucciones del principio. Abrir una conversación nueva con un resumen suele funcionar mejor.

¿Cómo cuento los tokens de un texto?

Cada proveedor ofrece su herramienta. OpenAI tiene un contador web y la biblioteca tiktoken; Anthropic, un servicio de recuento dentro de su API. En los modelos abiertos, el tokenizador viene incluido con el propio modelo. Lo importante es usar el del modelo concreto, porque el mismo texto da cifras distintas en cada uno.

¿Un token de IA tiene algo que ver con las criptomonedas?

No. Es la misma palabra inglesa, que significa «ficha», aplicada a cosas distintas. En IA es un trozo de texto que el modelo procesa; en el mundo cripto, un activo digital; en seguridad, el código o la llave que confirma tu identidad, como en la verificación en dos pasos. Comparten nombre y poco más.

Resumen práctico

  • Un token es un trozo de texto convertido en número: al modelo no le llegan letras.
  • En mi medición, el español gastó entre un 26 % y un 56 % más de tokens que el inglés.
  • En chino, todo depende del tokenizador: de un 69 % más que el inglés con cl100k a un 19 % menos con Qwen 3.6.
  • La salida cuesta cinco o seis veces más que la entrada en los modelos de referencia.
  • El razonamiento oculto, las imágenes y el historial también se facturan.
  • Llenar la ventana de contexto no garantiza que el modelo la use bien.
  • Cuenta siempre con el tokenizador del modelo que vas a usar.

Referencias externas:

OpenAI: Understanding and counting tokens

Anthropic: precios y nuevo tokenizador

Anthropic: Introducing Claude Opus 4.7

The Register: Anthropic’s extravagant tokenizer complicates AI pricing

Anthropic: ventanas de contexto

Anthropic: la API de mensajes no guarda estado

Anthropic: herramienta de memoria

Anthropic: comparativa de modelos (ventana de contexto en palabras)

Anthropic: imágenes y tokens

OpenAI: precios de la API

OpenAI: tokens de razonamiento

Petrov et al. (NeurIPS 2023): Language Model Tokenizers Introduce Unfairness Between Languages

Sennrich et al. (ACL 2016): Neural Machine Translation of Rare Words with Subword Units

Philip Gage (1994): A New Algorithm for Data Compression

Liu et al. (TACL 2024): Lost in the Middle

Chroma (2025): Context Rot

Fu et al. (2024): Why Do LLMs Struggle to Count Letters?

arXiv (2026): KV Cache Optimization Strategies for LLM Inference

Meta: Llama 3.1 8B Instruct (ficha y configuración del modelo)

ONU: Declaración Universal de Derechos Humanos

ONU: Universal Declaration of Human Rights (versión inglesa)

ONU: 世界人权宣言 (versión china)

Qwen: familia de modelos de Alibaba Cloud (Hugging Face)

Avatar conceptual de Álex Navarro: portátil con cerebro de IA en estilo low-poly, azul y naranja

Álex Navarro

Ingeniero de software. Dev, entornos y herramientas de IA explicadas con criterio para que no pierdas tiempo. Rigor y utilidad práctica.

Una respuesta

  1. Diego Ansó dice:

    Nunca me había parado a pensar que el idioma influyera también en la factura. Ese sobrecoste de 26% a 56% en español vs inglés explicaría por qué algunas conversaciones se me iban de precio. ¿Mediste también tokenizadores más nuevos?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *