palabras {'en': 1741, 'es': 1940} (el chino no separa palabras con espacios)
caracteres {'en': 10597, 'es': 11962, 'zh': 2894} · sinogramas zh 2557
cl100k_base  EN  2005  ES  3034  ZH  3397  ZH/EN 1.694  ZH/ES 1.120  ES/EN 1.513  tok/sinograma 1.33  car/tok ZH 0.85
o200k_base   EN  2006  ES  2530  ZH  2279  ZH/EN 1.136  ZH/ES 0.901  ES/EN 1.261  tok/sinograma 0.89  car/tok ZH 1.27
gemma4       EN  2066  ES  2603  ZH  2004  ZH/EN 0.970  ZH/ES 0.770  ES/EN 1.260  tok/sinograma 0.78  car/tok ZH 1.44
qwen3.6      EN  2081  ES  2668  ZH  1696  ZH/EN 0.815  ZH/ES 0.636  ES/EN 1.282  tok/sinograma 0.66  car/tok ZH 1.71
mistral7b    EN  2263  ES  3526  ZH  3281  ZH/EN 1.450  ZH/ES 0.931  ES/EN 1.558  tok/sinograma 1.28  car/tok ZH 0.88
人工智能 ['人工', '智能']
人权 ['人', '权']
尊严 ['尊', '严']
令牌 ['令', '牌']
词元 ['词', '元']
草莓 ['草', '莓']
人人生而自由，在尊严和权利上一律平等。 ['人人', '生', '而', '自由', '，在', '尊', '严', '和', '权', '利', '上一', '律', '平', '等', '。']
