Medición de tokens: español frente a inglés (y chino)
Artículo: https://esta-pasando-ahora.com/que-es-un-token-en-ia-lo-que-pagas-y-lo-que-recuerda/
Álex Navarro · esta-pasando-ahora.com · medición del 30 de octubre de 2026 · chino añadido el 7 de noviembre de 2026

QUÉ SE MIDE
La Declaración Universal de Derechos Humanos en sus versiones oficiales de la ONU,
inglesa y española, del preámbulo al artículo 30. Se cuentan palabras, caracteres y
tokens con cinco tokenizadores. Los tokens se cuentan sin tokens especiales.

ARCHIVOS
medir_tokens.py   El script, tal cual lo usé.
fuente/en.html    Página de la ONU en inglés, descargada el 30-oct-2026
                  (https://www.un.org/en/about-us/universal-declaration-of-human-rights)
fuente/es.html    Página de la ONU en español, misma fecha
                  (https://www.un.org/es/about-us/universal-declaration-of-human-rights)
en.txt, es.txt    El texto limpio que se midió (lo genera el script).
resultado.txt     La salida completa: tokens, tokens por palabra, caracteres por token
                  y los troceos de las palabras de ejemplo.

TOKENIZADORES
cl100k_base y o200k_base   Biblioteca tiktoken de OpenAI, versión 0.13.0.
Gemma 4      tokenizer.json de huggingface.co/lmstudio-community/gemma-4-26B-A4B-it-QAT-MLX-4bit
Qwen 3.6     tokenizer.json de huggingface.co/lmstudio-community/Qwen3.6-27B-MLX-4bit
Mistral 7B   tokenizer.json de huggingface.co/mlx-community/Hermes-2-Pro-Mistral-7B-8bit
             (vocabulario base de Mistral 7B, 32.000 entradas, más 2 añadidas)
Los tres tokenizer.json se leen con la biblioteca tokenizers de Hugging Face (0.22.2).

CÓMO REPETIRLO
1. pip install tiktoken==0.13.0 tokenizers==0.22.2
2. Descarga los tres tokenizer.json y guárdalos, por ejemplo, como
   gemma4.json, qwen36.json y mistral7b.json.
3. Desde esta carpeta:
   mkdir salida
   python3 medir_tokens.py fuente/en.html fuente/es.html salida \
     '{"gemma4":"gemma4.json","qwen3.6":"qwen36.json","mistral7b":"mistral7b.json"}'
   La salida sale por pantalla y debe coincidir con resultado.txt.

Para probar otro tokenizador, añade su tokenizer.json a la lista del paso 3.

AMPLIACIÓN: CHINO (7 de noviembre de 2026)
La misma Declaración en su versión oficial china de la ONU, medida con los mismos cinco
tokenizadores y las mismas versiones de las bibliotecas. medir_tokens.py no cambia y
sigue dando resultado.txt; el chino va en un script aparte.

fuente/zh.html       Página de la ONU en chino, descargada el 7-nov-2026
                     (https://www.un.org/zh/about-us/universal-declaration-of-human-rights)
zh.txt               El texto chino limpio que se midió, del encabezado 序言 al final del
                     artículo 30 (第三十条). Sin la sangría tipográfica (espacio U+3000).
medir_tokens_zh.py   Mide inglés, español y chino. Inglés y español se extraen igual que en
                     medir_tokens.py (en.txt y es.txt salen idénticos).
resultado_zh.txt     Su salida: tokens de los tres idiomas, proporciones, tokens por
                     sinograma, caracteres por token y troceos de ejemplo con o200k_base.

El chino no separa las palabras con espacios, así que no se cuentan palabras: se compara
el total de tokens del mismo contenido.

Para repetirlo, desde esta carpeta (con los tres tokenizer.json del paso 2):
   mkdir salida_zh
   python3 medir_tokens_zh.py fuente/en.html fuente/es.html fuente/zh.html salida_zh \
     '{"gemma4":"gemma4.json","qwen3.6":"qwen36.json","mistral7b":"mistral7b.json"}'
   La salida debe coincidir con resultado_zh.txt.
