La Trituradora de Textos
Descubre cómo la IA divide el lenguaje en fragmentos llamados "Tokens".
La Trituradora
Tokenization Engine
Esperando texto para triturar...
¿Qué es la Tokenización?
La tokenización es el proceso de convertir texto legible por humanos en unidades numéricas que los modelos de Inteligencia Artificial pueden procesar. Cada token es un fragmento de texto que el modelo considera como una unidad indivisible.
¿Por qué son necesarios los tokens?
Los modelos de lenguaje no leen letras ni palabras directamente. Trabajan con números. La tokenización es el puente que convierte nuestro lenguaje en representaciones matemáticas que la red neuronal puede entender.
¿Qué es exactamente un token?
Un token puede ser:
- Una palabra completa como "hola" o "mundo"
- Parte de una palabra como "intelig" o "encia" (subtokens)
- Un espacio en blanco que los humanos no vemos pero que el modelo sí reconoce
- Un signo de puntuación como "." o ","
- Un emoji que dependiendo del vocabulario puede ser uno o varios tokens
Cómo funcionan los tokenizers
Vocabularios entrenados
Los tokenizers tienen vocabularios entrenados que contienen miles de tokens predefinidos. Cuando encuentran texto, lo dividen buscando coincidencias en ese vocabulario.
Algoritmos comunes
BPE (Byte Pair Encoding): El más usado. Construye el vocabulario fusionando pares de caracteres o substrings que aparecen frecuentemente.
WordPiece: Similar a BPE pero usa una probabilidad condicional para decidir cuándo fusionar tokens.
SentencePiece: Trata todo el texto como una secuencia continua, incluyendo espacios sin marker.
La regla del ~4 caracteres
Como referencia general:
- En inglés: ~4 caracteres ≈ 1 token
- En español: ~3 caracteres ≈ 1 token (por los acentos y caracteres especiales)
Esto significa que:
- "Hola mundo" ≈ 4 tokens
- "La inteligencia artificial está transformando el mundo" ≈ 11 tokens
- Un párrafo típico de 100 palabras ≈ 80 tokens
¿Por qué importa el costo?
La tokenización impacta directamente el costo de usar APIs de IA:
| Servicio (2026) | Costo por 1M tokens |
|---|---|
| GPT-5.5 | $5.00 input / $30.00 output |
| GPT-5.4 | $2.50 input / $15.00 output |
| GPT-4o (legacy) | $2.50 input / $10.00 output |
| Claude Opus 4.7 | $5.00 input / $25.00 output |
| Claude Sonnet 4.5 | $3.00 input / $15.00 output |
| Gemini 2.5 Flash | $0.075 input / $0.30 output |
Optimizar el texto de entrada para usar menos tokens puede reducir costos drásticamente.
Tokens y contexto
Cada modelo tiene un límite de contexto medido en tokens:
| Modelo (2026) | Límite de contexto |
|---|---|
| GPT-5.5 | 1,000,000 tokens |
| GPT-5.4 | 1,050,000 tokens |
| Claude Opus 4.7 | 200,000 tokens |
| Claude Sonnet 4.5 | 200,000 tokens |
| Gemini 2.5 Pro | 2,000,000 tokens |
| Gemini 2.5 Flash | 1,000,000 tokens |
Esto no significa que debas usar todo el contexto. Contexto más pequeño y relevante suele generar mejores respuestas y reduce costos significativamente.
Casos de uso importantes
Facturación
Cada API de IA cobra por tokens procesados. Entender tokenización ayuda a estimar y optimizar costos.
Límites de contexto
Cuando construyes prompts complejos conSystem, contexto, few-shot examples, debes asegurarte de que todo quepa dentro del límite.
Multilingüe
Idiomas con alfabetos diferentes (chino, japonés) consumen más tokens por carácter. El español está en el medio del espectro.
Código
El código suele tokenizar de forma menos eficiente que texto natural porque contiene muchos símbolos especiales.
La tokenización en español
El español presenta particularidades:
- Acentos: "áéíóú" son tokens separados de "aeiou"
- Mayúsculas y minúsculas: "El" ≠ "el" en la mayoría de tokenizers
- Diacríticos: "ñ" es un token único, no equivalente a "n"
- Emojis: Se tokenizan de forma impredecible entre modelos
Herramientas para contar tokens
Estas herramientas permiten verificar exactamente cómo se tokenizará tu texto antes de enviarlo a una API.