2 Representación de la Información

Pregunta central: ¿Cómo representa una máquina el significado?

2.1 Introducción

En el módulo anterior situamos los LLM como sistemas que aprenden a partir de texto. Quedó abierta, sin embargo, una pregunta que la tradición conexionista presupone pero no responde por sí sola: ¿cómo puede una computadora, que solo opera sobre números, tratar con palabras, frases y, en última instancia, con el significado? Una red neuronal no ve letras ni entiende idiomas; multiplica y suma números. Para que un texto entre en esa maquinaria, primero hay que convertirlo en números, y esa conversión no puede ser arbitraria: debe preservar, de algún modo, las relaciones de sentido entre las palabras.

Este capítulo trata exactamente de ese puente entre lenguaje y número. Veremos cómo un texto se corta en unidades llamadas tokens, cómo cada token se transforma en una lista de números llamada embedding, y cómo el conjunto de esos números define un espacio vectorial en el que la proximidad geométrica pasa a reflejar proximidad de significado. Al final, la pregunta central, que indaga cómo representa una máquina el significado, tendrá una respuesta concreta: el significado, para la máquina, es una posición en un espacio de muchas dimensiones.

La respuesta tiene un límite importante, que adelantamos desde ya. Mostraremos qué es esa representación y qué captura, pero el mecanismo por el cual esos números se aprenden efectivamente queda para el módulo siguiente. El orden es deliberado: es más fácil entender qué ajusta una red neuronal después de ver, primero, qué hay que representar.

2.2 Objetivos de Aprendizaje

Explicar por qué el texto necesita convertirse en números antes de entrar en una red neuronal.
Describir qué es la tokenización y por qué se usan subpalabras en vez de palabras enteras.
Definir embedding y comprender que cada token corresponde a un punto en un espacio de muchas dimensiones.
Interpretar la hipótesis distribucional y cómo permite que la geometría del espacio capture relaciones de significado.

2.3 Preguntas Orientadoras

¿Por qué no basta con numerar las palabras de un diccionario de 1 a N para representarlas?
¿Qué se gana al partir una palabra rara en piezas más pequeñas?
¿Cómo pueden dos palabras de sentido próximo terminar próximas en un espacio puramente numérico?
¿En qué sentido una “dirección” en ese espacio puede corresponder a una relación como “plural” o “femenino”?

2.4 Mapa Conceptual del Capítulo

La Figura 2.1 muestra el recorrido que hace un texto hasta volverse una representación que la red neuronal puede procesar: del texto bruto a los tokens, de los tokens a los embeddings, y de estos al espacio vectorial donde habita el significado.

Figura 2.1 - Mapa conceptual: del texto al espacio vectorial de significado

Fuente: elaboración propia (2026).

2.5 Tokens: los ladrillos del texto

2.5.1 El problema: el significado no es un número obvio

Antes de hablar de representaciones, conviene aclarar qué vamos a representar: un token. Un token es la unidad mínima de texto que el modelo procesa; por ahora, basta pensarlo simplemente como una palabra. El modelo recibe una secuencia de tokens y necesita convertir cada uno en un número para poder operar sobre ellos.¹

Aquí aparece el primer problema. La tentación obvia es armar un diccionario y asignarle a cada palabra un índice: “empresa” → 1, “startup” → 2, “universidad” → 3. Eso falla por una razón profunda: un índice es una etiqueta disfrazada de número. La diferencia entre índices no significa nada semánticamente.

Piense en el número de un documento de identidad. Dos personas pueden tener números consecutivos y no tener absolutamente nada en común: ciudad distinta, profesión distinta, nivel educativo distinto. El número existe, pero no dice nada sobre quién es esa persona. De la misma forma, asignarle a “empresa” el índice 1 y a “startup” el índice 2 no le dice al modelo que esas dos palabras habitan mundos parecidos. Y lo inverso también vale: “empresa” (1) podría quedar numéricamente más cerca de “universidad” (3) que de “corporación” (10), no por significado, sino por mero azar del ordenamiento.

Lo que necesitamos es lo contrario: una representación en la que la proximidad numérica refleje la proximidad de significado. Palabras parecidas deben quedar cerca; palabras de mundos distintos deben quedar lejos. La Figura 2.2 ilustra ese contraste.

Figura 2.2 - Índice numérico vs. representación por contexto

Ver por contexto →← Ver por índice

negocios

educación superior

empresa1

Vecinos en el texto: empleado, producto, mercado, inversión, cliente.

startup2

Vecinos en el texto: mercado, inversión, producto, cliente, empleado.

universidad3

Vecinos en el texto: alumno, profesor, currículo, investigación, campus.

maestría4

Vecinos en el texto: tesis, director, defensa, beca, posgrado.

corporación10

Vecinos en el texto: mercado, empleado, producto, inversión.

Use el botón de arriba para reorganizar las palabras por contexto, y haga clic en cada palabra para ver con cuáles otras suele aparecer en el texto.

Fuente: elaboración propia (2026). Vecindarios ilustrativos.

Queda claro, entonces, lo que buscamos: una representación en la que la distancia refleje significado. Pero surge una pregunta incómoda: ¿cómo sabe una máquina, que solo ve texto, que “empresa”, “startup” y “corporación” se parecen más entre sí que a “maestría” o “salario”? Nadie programó esa semejanza. No existe ninguna tabla de sentidos que podamos consultar. La respuesta viene de la lingüística.

En 1957, J. R. Firth resumió en una frase lo que hoy llamamos hipótesis distribucional, una idea ya esbozada por Harris (Harris, 1954): “conocerás una palabra por las compañías que mantiene” (Firth, 1957). La intuición es poderosa: el significado de una palabra no está dentro de ella, sino en los contextos en los que aparece. Si observamos millones de frases, notaremos que “empresa” y “startup” aparecen rodeadas de palabras muy parecidas (empleado, producto, mercado, inversión, cliente), mientras que “maestría” aparece junto a palabras completamente distintas (tesis, director, defensa, beca, posgrado). Esa diferencia de vecindarios es una señal estadística robusta: dos palabras que frecuentan los mismos contextos probablemente describen realidades parecidas.

La hipótesis distribucional tiene una consecuencia directa y práctica: si contamos con qué palabras aparece cada token en un corpus enorme, podemos construir una representación numérica en la que la proximidad capture esa semejanza de contextos. Palabras con vecindarios parecidos recibirán representaciones parecidas; palabras con vecindarios distintos recibirán representaciones distintas. Esto es, en esencia, lo que hace un embedding: el tema de la sección siguiente.

2.5.2 Tokenización: cortar el texto en unidades

Antes de volverse número, el texto debe dividirse en unidades discretas, los tokens. La pregunta de diseño es: ¿cuál es el tamaño ideal de cada fragmento? Hay dos salidas extremas, y vale la pena entender por qué ninguna de las dos se usa de forma aislada.²

La primera salida sería usar palabras enteras como unidad. Eso crea dos problemas. Primero, el vocabulario de una lengua es prácticamente ilimitado, sumando nombres propios, jergas, términos técnicos y palabras compuestas, de modo que ninguna lista fija bastaría. Segundo, y más grave: una palabra que nunca apareció en el entrenamiento simplemente no tiene token correspondiente, y el modelo no tiene qué hacer con ella.

La solución adoptada por la mayoría de los LLM queda a mitad de camino: la tokenización por subpalabras, popularizada por la técnica de Byte-Pair Encoding (BPE) en el contexto de la traducción automática (Sennrich et al., 2016). La lógica se parece a armar una palabra a partir de piezas de un juego de construcción: piezas grandes y listas para los bloques más comunes de la lengua, piezas pequeñas y combinables para todo lo que sea raro o desconocido. Las palabras comunes se vuelven un único token; las palabras raras, largas o inéditas se rompen en subpalabras ya conocidas, de modo que cualquier texto, incluso con una palabra nunca vista antes, todavía puede escribirse con piezas del vocabulario. La Figura 2.3 ilustra el proceso.

Figura 2.3 - Tokenización: el texto se corta en tokens, con palabras raras partidas en subpalabras

Fuente: elaboración propia (2026), con base en Sennrich et al. (2016). Tokens e identificadores son ilustrativos.

2.5.3 Lo que la tokenización provoca en el día a día

La tokenización parece un detalle técnico, pero explica varios comportamientos que confunden a quien usa LLM. Vale la pena conocerlos, porque son fuente común de frustración y de conclusiones erróneas sobre lo que el modelo “sabe”.

El caso más famoso es el conteo de letras. Pide a un LLM que cuente cuántas veces aparece la letra “r” en “strawberry” (fresa, en inglés) y es común que se equivoque. La razón no es torpeza: el modelo no ve las letras individuales. Ve la palabra fraccionada en pocos tokens de subpalabra (algo como “st”, “raw”, “berry”), y nunca tuvo acceso a los caracteres uno a uno. Pedirle que cuente letras es pedirle que describa algo que su representación borró, como pedirle a alguien que cuenta sílabas que diga cuántos átomos hay en una palabra.

La segunda consecuencia es económica, y se retoma en el Módulo 13: idiomas diferentes gastan números diferentes de tokens para el mismo contenido. Los tokenizadores fueron optimizados sobre todo para el inglés, así que el español (y más aún idiomas con otros alfabetos) tiende a fraccionarse en más tokens para decir lo mismo. Como se paga por token, el mismo texto puede costar más en español que en inglés, y ocupar más espacio en la ventana de contexto.

La tercera aparece con números y fechas. Un número grande como “1.048.576” puede romperse en varios tokens de formas poco intuitivas, lo que ayuda a explicar por qué los modelos a veces se equivocan en aritmética con números largos: la propia representación del número está fragmentada de un modo que no corresponde a su valor. Es otro recordatorio de que el cálculo exacto es trabajo para una herramienta (Módulo 10), no para la adivinación del modelo.

La Figura 2.4 hace concreta la segunda consecuencia, la económica: la misma pregunta, escrita en español y en inglés, gasta números diferentes de tokens.

Figura 2.4 - La misma frase cuesta más tokens en español que en inglés

Fuente: elaboración propia (2026). Conteos ilustrativos de un tokenizador de uso común.

El identificador numérico de cada token, sin embargo, todavía sufre el mismo defecto del diccionario ingenuo: es un índice arbitrario, sin relación con el significado. Solo sirve para localizar el token. El paso siguiente es el que de hecho carga sentido.

2.6 Embeddings: significado en vectores

2.6.1 Del token al vector: el embedding

A cada token el modelo le asocia un embedding: una lista de números reales, es decir, un vector, con decenas a miles de posiciones. Piense en una ficha de registro que describiera a una persona mediante números: altura, edad, años de estudio, ingresos. Cada característica ocupa una posición en la ficha, y dos personas con fichas parecidas tienden a parecerse en varios aspectos. Un embedding hace algo análogo con las palabras, solo que con cientos o miles de “características” en vez de cuatro, y esas características no las definimos nosotros: emergen del entrenamiento.³

La idea se consolidó en los modelos neuronales de lenguaje (Bengio et al., 2003) y se volvió central con técnicas como word2vec (Mikolov, Chen, et al., 2013) y GloVe (Pennington et al., 2014). Ese vector no se asigna a mano; cada una de sus posiciones es un número ajustado durante el entrenamiento, y el conjunto define la ubicación del token en un espacio de muchas dimensiones. La Figura 2.5 muestra la conversión.

Figura 2.5 - Embedding: cada token se vuelve un vector de números, su posición en un espacio de muchas dimensiones

Fuente: elaboración propia (2026). Valores ilustrativos.

2.6.2 El espacio vectorial semántico

Cuando todos los tokens se vuelven vectores, pasan a habitar un mismo espacio vectorial: un espacio geométrico de muchas dimensiones en el que cada token es un punto. Lo que vuelve notable a ese espacio es que, entrenado según la hipótesis distribucional, organiza los puntos de modo que la proximidad geométrica refleja la proximidad de significado.⁴ Palabras de sentido próximo forman vecindarios y, más sorprendente aún, ciertas direcciones del espacio pasan a corresponder a relaciones sistemáticas.

Figura 2.6 - Espacio vectorial semántico: la proximidad es sentido, y las direcciones codifican relaciones

Fuente: elaboración propia (2026), con base en Mikolov et al. (2013). Posiciones ilustrativas.

2.6.3 Embeddings estáticos y contextuales

Hay una limitación importante en los embeddings clásicos que describimos hasta aquí, y superarla fue uno de los saltos que llevaron a los LLM modernos. En word2vec y en GloVe, cada palabra tiene un único vector, fijo, el llamado embedding estático. Eso crea un problema con palabras que tienen más de un sentido. La palabra “banco” recibe el mismo vector en “me senté en el banco de la plaza” y en “fui al banco a sacar dinero”, aunque signifiquen cosas completamente distintas. El embedding estático está obligado a mezclar los dos sentidos en un promedio, que no sirve bien a ninguno.

La solución son los embeddings contextuales: en vez de un vector fijo por palabra, el vector de cada token se recalcula según las palabras que lo rodean. En ese régimen, “banco” gana un vector jalado hacia el mundo de los muebles cuando está rodeado de “plaza” y “senté”, y otro, jalado hacia el mundo financiero, cuando está rodeado de “sacar” y “dinero”. Es exactamente eso lo que hace la arquitectura Transformer, mediante el mecanismo de atención, y es el tema del Módulo 4. Por ahora, guarda la distinción: los embeddings de este capítulo son el punto de partida (la tabla inicial que asocia un vector a cada token), y es la red la que, capa a capa, los transforma en representaciones sensibles al contexto.

Importante

Caso real: el sesgo que habita en los vectores. La misma geometría que produce la bella analogía “rey − hombre + mujer ≈ reina” también produce otras, bastante menos inocentes. Bolukbasi y colaboradores mostraron, en 2016, que embeddings entrenados sobre grandes textos de la web respondían a “hombre está a programador de computadoras como mujer está a…” con “ama de casa” (Bolukbasi et al., 2016). El modelo no inventó ese estereotipo; lo heredó del texto humano en el que fue entrenado, y lo cristalizó en la geometría del espacio. La lección es doble y atraviesa el libro: primero, los embeddings capturan no solo significado, sino también los sesgos de la sociedad que produjo los textos; segundo, “aprendió de los datos” nunca es sinónimo de “neutral”. Esta es una de las razones por las que la curaduría de los datos de entrenamiento (Módulo 5) y la evaluación cuidadosa (Módulo 8) importan tanto.

Nota de transición (al Módulo 3): Este capítulo muestra qué son los embeddings y qué capturan, pero no cómo se obtienen esos vectores. Los valores de cada posición no se asignan manualmente: emergen del ajuste de parámetros de una red neuronal expuesta a enormes cantidades de texto. Ese mecanismo de aprendizaje, qué significa “ajustar parámetros” y cómo eso hace que los vectores se organicen, es precisamente el tema del próximo módulo.

2.7 En la práctica: observa la tokenización y el espacio vectorial

Dos experimentos gratuitos vuelven visibles los dos conceptos centrales del capítulo.

Experimento 1: corta el texto en tokens. Visita un tokenizador en línea (Tiktokenizer, en tiktokenizer.vercel.app, muestra el corte a colores al instante). Pega una frase y observa cómo se rompe en tokens; nota que las palabras comunes se vuelven un solo token y las palabras raras o compuestas se parten en pedazos. Ahora haz la prueba que revela la economía del Módulo 13: escribe la misma frase en español y en inglés y compara el conteo. El español casi siempre gasta más tokens. Por último, pega una palabra como “strawberry” o un número largo y observa, con tus propios ojos, por qué el modelo tiene dificultad para contar sus letras: nunca las ve por separado.

2.8 Analogías: el mapa donde palabras cercanas tienen sentidos cercanos

Una analogía útil compara el espacio vectorial con un mapa. En una ciudad, lugares con función parecida tienden a quedar próximos, y las direcciones del mapa corresponden a relaciones reales: ir “hacia el norte” significa lo mismo partiendo de cualquier punto. En el espacio de embeddings, las palabras de sentido próximo quedan próximas, y una dirección puede corresponder a una relación como “femenino” o “plural”, aplicable a varios pares de palabras. La analogía funciona para transmitir la intuición de proximidad y dirección. Deja de funcionar en dos aspectos. Primero, el mapa de una ciudad tiene dos dimensiones, mientras que el espacio de embeddings tiene cientos o miles, y nuestra intuición visual no acompaña esa dimensionalidad.⁵ Segundo, las posiciones no fueron dibujadas por un cartógrafo con un plan: emergieron estadísticamente de los datos, y por eso pueden contener distorsiones y sesgos heredados del texto de entrenamiento, un punto retomado en los módulos sobre limitaciones y datos.

2.9 De la palabra al vector, en diagrama

La Figura 2.7 resume el pipeline completo de representación, del texto bruto a la entrada efectiva de la red neuronal. Cada etapa es una transformación: la tokenización discretiza el texto, la tabla de embeddings sustituye cada identificador por un vector, y el resultado es la secuencia de vectores que alimenta las capas siguientes.

Figura 2.7 - Pipeline de representación: del texto a la secuencia de vectores

Fuente: elaboración propia (2026).

El punto a retener del diagrama es que la representación es una secuencia de transformaciones sin pérdida de identidad: cada token mantiene su posición en la secuencia, y es justamente ese orden lo que el siguiente paso de la arquitectura deberá tener en cuenta.

2.10 Conceptos Principales

Token: unidad mínima en la que se corta el texto para su procesamiento; puede ser una palabra, una subpalabra o un carácter.
Tokenización: proceso de dividir el texto en tokens; el uso de subpalabras (BPE) garantiza un vocabulario finito y la cobertura de palabras inéditas (Sennrich et al., 2016).
Embedding: vector de números reales asociado a un token, que define su posición en un espacio de muchas dimensiones (Bengio et al., 2003; Mikolov, Chen, et al., 2013).
Espacio vectorial semántico: espacio geométrico en el que la proximidad entre vectores refleja proximidad de significado.
Embeddings estáticos vs. contextuales: un vector fijo por palabra (word2vec) frente a un vector recalculado según el contexto (lo que hace el Transformer, Módulo 4).
Sesgo en embeddings: estereotipos heredados de los textos de entrenamiento que quedan grabados en la geometría del espacio (Bolukbasi et al., 2016).
Hipótesis distribucional: principio según el cual el significado de una palabra emerge de los contextos en los que ocurre (Firth, 1957; Harris, 1954).

2.11 Mitos: “la IA lee letras” y “cuenta caracteres”

El primer equívoco es confundir el identificador del token con su representación de significado. El índice en el vocabulario es solo una dirección arbitraria; quien carga sentido es el embedding, el vector asociado a ese índice.

El segundo es imaginar que cada dimensión del embedding tiene un significado nombrable, como “una dimensión para género, otra para número”. En general, los ejes no son interpretables aisladamente; el significado está distribuido por el conjunto de las dimensiones, y solo ciertas direcciones combinadas corresponden a relaciones reconocibles.

El tercero es suponer que la analogía “rey menos hombre más mujer” funciona con precisión perfecta y universal. Se trata de una regularidad aproximada, observada con frecuencia, pero sujeta a fallos, especialmente fuera de los pares más comunes y en palabras polisémicas. La regularidad ilustra el fenómeno, no una ley exacta.

2.12 Conexión con los Próximos Capítulos

Vimos qué es la representación por embeddings y qué captura. El Módulo 3 abre el engranaje que falta: qué es una red neuronal y qué significa, mecánicamente, “aprender” esos vectores ajustando parámetros. Con la representación y el aprendizaje en mano, el Módulo 4 mostrará cómo la arquitectura Transformer usa esos vectores, teniendo en cuenta el orden de la secuencia y las relaciones entre tokens, para producir entendimiento contextual.

2.13 Para ir más allá

Para hacer (experimenta y observa)

Tiktokenizer (tiktokenizer.vercel.app): corta frases en tokens, compara el conteo en ES y EN y observa por qué el modelo se equivoca al contar letras.
Embedding Projector (projector.tensorflow.org): navega en 3D por un espacio de embeddings real e inspecciona los vecinos de una palabra.
Jay Alammar, The Illustrated Word2vec: una explicación visual e intuitiva de cómo las palabras se vuelven vectores.

Para leer (profundizar los fundamentos)

MIKOLOV, T. et al. Efficient Estimation of Word Representations in Vector Space. 2013. El artículo que popularizó los embeddings de palabras y sus regularidades.
BOLUKBASI, T. et al. Man is to Computer Programmer as Woman is to Homemaker?. 2016. El estudio que expuso el sesgo de género incorporado en los embeddings.
FIRTH, J. R. A Synopsis of Linguistic Theory. 1957. El origen de la máxima distribucional que fundamenta la representación moderna.
SENNRICH, R.; HADDOW, B.; BIRCH, A. Neural Machine Translation of Rare Words with Subword Units. 2016. La introducción de las subpalabras (BPE) que volvió el vocabulario finito y robusto.
BENGIO, Y. et al. A Neural Probabilistic Language Model. 2003. El modelo que consolidó la idea de representar palabras como vectores aprendidos dentro de una red neuronal.
PENNINGTON, J.; SOCHER, R.; MANNING, C. D. GloVe: Global Vectors for Word Representation. 2014. Una alternativa a word2vec que construye embeddings directamente a partir de estadísticas globales de coocurrencia.

Las operaciones matemáticas que aplica la red neuronal (multiplicaciones de matrices, sumas, funciones de activación) exigen que todos los datos de entrada sean valores numéricos. El texto, tal como lo escribimos, es una secuencia de caracteres: no puede entrar directamente en esas operaciones. La tokenización y el embedding son el puente que convierte caracteres en números que la red puede procesar.↩︎
En el otro extremo está la tokenización por carácter, en la que cada letra es un token. El vocabulario queda minúsculo (apenas unas pocas decenas de símbolos) y ninguna palabra es desconocida, pero el precio es una secuencia mucho más larga para representar el mismo texto, lo que sobrecarga el procesamiento. La tokenización por subpalabras busca el equilibrio entre estos dos extremos: vocabulario manejable y secuencias de tamaño razonable.↩︎
A diferencia de la ficha de registro, en la que cada posición tiene una etiqueta clara (altura, edad), las posiciones de un embedding rara vez corresponden a un concepto aislado y nombrable. El significado queda distribuido por el conjunto de las posiciones, y solo combinaciones de ellas, no una posición aislada, tienden a corresponder a relaciones reconocibles, como veremos en la sección siguiente.↩︎
Esa “proximidad” puede medirse de formas distintas, siendo la distancia euclidiana y la similitud de coseno (que compara el ángulo entre dos vectores, ignorando su magnitud) las más comunes. La elección de la métrica no cambia la idea central: vectores parecidos representan significados parecidos. El ejemplo clásico, observado en word2vec, es la regularidad que aproxima el vector de “rey” menos el de “hombre” más el de “mujer” al vector de “reina” (Mikolov, Yih, et al., 2013). La Figura 2.6 ilustra la idea en una proyección bidimensional.↩︎
Ese desajuste entre la intuición, formada en un mundo de tres dimensiones, y el comportamiento real de espacios de alta dimensión se conoce como “maldición de la dimensionalidad”: a medida que crece el número de dimensiones, nociones intuitivas como “cerca” y “lejos” empiezan a comportarse de maneras que desafían el sentido común geométrico.↩︎