El Taller de Chunking
Descubre cómo la IA fragmenta el conocimiento para procesarlo y recuperarlo.
El Taller de Chunking
RAG Infrastructure
¿Qué es el Chunking?
El chunking es el proceso de fragmentar textos extensos en partes más pequeñas llamadas chunks (fragmentos). En el contexto de la Inteligencia Artificial y los sistemas RAG (Retrieval-Augmented Generation), el chunking es un paso fundamental para que los modelos de lenguaje puedan procesar, buscar y recuperar información de documentos grandes.
¿Por qué es importante para RAG?
Los modelos de lenguaje modernos de 2026 (GPT-5.5, Claude Opus 4.7, Gemini 2.5) han expandido significativamente sus ventanas de contexto hasta 1-2 millones de tokens. Sin embargo, el chunking sigue siendo esencial para RAG porque:
- Mejorar la precisión de recuperación: chunks más pequeños permiten búsquedas semánticas más exactas
- Reducir ruido: solo se envía información relevante al LLM, no documentos completos
- Optimizar costos: aunque los límites son grandes, procesar menos tokens reduce costos
- Mantener el contexto mediante el solapamiento entre fragmentos consecutivos
- Mejorar la calidad de respuestas: contexto focalizado genera respuestas más precisas
Estrategias de Fragmentación
1. Por Caracteres
La estrategia más simple. Divide el texto en fragmentos de N caracteres exactamente. Es útil para textos sin estructura clara pero puede cortar palabras a mitad.
Ventajas: Simple de implementar, sin dependencias externas Desventajas: Puede partir palabras o oraciones sin criterio semántico
2. Por Oraciones
Agrupa texto hasta completar un tamaño máximo basándose en los límites de oraciones. Usa puntuación (. ! ?) como delimitadores naturales.
Ventajas: Mantiene oraciones completas, mejor coherencia semántica Desventajas: Tamaños de chunk variables
3. Por Párrafos
Agrupa párrafos completos hasta alcanzar el tamaño deseado. Ideal para documentos bien estructurados con séparación clara entre ideas.
Ventajas: Respeta la estructura lógica del documento Desventajas: Párrafos muy largos pueden perder granularidad
4. Semántica
Analiza el significado del texto para crear fragmentos que mantengan coherencia topical. Agrupa oraciones relacionadas antes de dividirlas.
Ventajas: Fragmentos con significado completo y autocontenido Desventajas: Más complejo de implementar, requiere análisis de texto
5. Recursiva
Busca el delimitador más cercano al tamaño objetivo (espacio → palabra → oración → párrafo). Repite hasta encontrar un límite apropiado.
Ventajas: Balance entre estructura y flexibilidad Desventajas: Más costoso computacionalmente
6. Late Chunking (2025-2026)
Técnica moderna que primero genera embeddings del documento completo y luego fragmenta, preservando el contexto global en cada chunk. Cada token captura información del documento completo antes de dividirse.
Ventajas: Mejora precisión de recuperación 10-12%, mantiene referencias anafóricas Desventajas: Requiere modelos específicos que soporten late chunking
7. Contextual Retrieval (Anthropic 2024)
Estrategia revolucionaria donde un LLM añade contexto explicativo a cada chunk antes de generar embeddings. Un resumen del documento se prepende a cada fragmento para dar contexto completo.
Ventajas: Reduce recuperaciones irrelevantes hasta 67%, mejora precisión drásticamente Desventajas: Aumenta costo de indexación (requiere llamadas adicionales al LLM)
Conceptos Clave
Chunk (Fragmento)
Un fragmento de texto de tamaño manageable que contiene una cantidad de tokens. Cada chunk se convierte en una entrada en la base de datos vectorial.
Overlap (Solapamiento)
La cantidad de caracteres que se repiten entre chunks consecutivos. El solapamiento actúa como "pegamento narrativo" preservando contexto entre fragmentos vecinos.
Tokens
Unidades de texto que el modelo de lenguaje procesa. Aproximadamente 4 caracteres en inglés o 3 en español equivalen a 1 token. Los tokens son la unidad de facturacíon en APIs como OpenAI.
Vocabulario
El conjunto de todos los tokens reconocidos por un modelo de lenguaje. Modelos modernos de 2026 tienen vocabularios expandidos de 150,000-200,000 tokens para mejor cobertura multilingüe.
Cómo elegir el tamaño correcto
No existe un tamaño universal. La elección depende de:
| Factor | Chunks pequeños | Chunks grandes |
|---|---|---|
| Granularidad | Alta, respuestas muy focalizadas | Baja, respuestas más broad |
| Contexto | Poco contexto por chunk | Mucho contexto por chunk |
| Costo | Más tokens, mayor costo | Menos tokens, menor costo |
| Precisión | Puede perder contexto entre chunks | Puede incluir información irrelevante |
Regla general 2026: Chunks de 256-512 tokens son el nuevo estándar recomendado. Con ventanas de contexto muy largas (1M+ tokens) y técnicas como late chunking, chunks más grandes mejoran coherencia sin perder precisión.
Casos de Uso
- Sistemas de preguntas y respuestas sobre documentos extensos
- Búsqueda en bibliotecas digitales de manuales o documentación
- Chatbots especializados que consultan bases de conocimiento
- Análisis de contratos o documentos legales largos
- Resúmenes automáticos basados en secciones relevantes