2  Representação da Informação

Pergunta central: Como uma máquina representa significado?

2.1 Introdução

No módulo anterior, situamos as LLMs como sistemas que aprendem a partir de texto. Ficou em aberto, porém, uma pergunta que a tradição conexionista pressupõe mas não responde sozinha: como um computador, que opera apenas sobre números, pode lidar com palavras, frases e, em última instância, com significado? Uma rede neural não enxerga letras nem entende idiomas; ela multiplica e soma números. Para que um texto entre nesse maquinário, é preciso primeiro convertê-lo em números, e essa conversão não pode ser arbitrária: precisa preservar, de alguma forma, as relações de sentido entre as palavras.

Este capítulo trata exatamente dessa ponte entre linguagem e número. Veremos como um texto é fatiado em unidades chamadas tokens, como cada token é transformado em uma lista de números chamada embedding, e como o conjunto desses números define um espaço vetorial em que a proximidade geométrica passa a refletir proximidade de significado. Ao final, a pergunta central, que indaga como uma máquina representa significado, terá uma resposta concreta: o significado, para a máquina, é uma posição num espaço de muitas dimensões.

A resposta tem um limite importante, que adiantamos desde já. Mostraremos o que é essa representação e o que ela captura, mas o mecanismo pelo qual esses números são efetivamente aprendidos fica para o módulo seguinte. A ordem é deliberada: é mais fácil entender o que uma rede neural ajusta depois de ver, primeiro, o que precisa ser representado.

2.2 Objetivos de Aprendizagem

• Explicar por que texto precisa ser convertido em números antes de entrar numa rede neural.
• Descrever o que é tokenização e por que se usam subpalavras em vez de palavras inteiras.
• Definir embedding e compreender que cada token corresponde a um ponto num espaço de muitas dimensões.
• Interpretar a hipótese distribucional e como ela permite que a geometria do espaço capture relações de significado.

2.3 Perguntas Norteadoras

• Por que não basta numerar as palavras de um dicionário de 1 a N para representá-las?
• O que se ganha ao quebrar uma palavra rara em pedaços menores?
• Como duas palavras de sentido próximo podem acabar próximas num espaço puramente numérico?
• Em que sentido uma “direção” nesse espaço pode corresponder a uma relação como “plural” ou “feminino”?

2.4 Mapa Conceitual do Capítulo

A Figura 2.1 mostra o percurso que um texto faz até virar uma representação que a rede neural pode processar: do texto bruto aos tokens, dos tokens aos embeddings, e destes ao espaço vetorial onde mora o significado.

Figura 2.1 - Mapa conceitual: do texto ao espaço vetorial de significado

Fonte: elaborado pelo autor (2026).

2.5 Tokens: os tijolos do texto

2.5.1 O problema: o significado não é um número óbvio

Antes de falar de representações, é preciso esclarecer o que vamos representar: um token. Um token é a unidade mínima de texto que o modelo processa: por ora, pense nele simplesmente como uma palavra. O modelo recebe uma sequência de tokens e precisa converter cada um deles em um número para poder operar sobre eles.¹

Aqui aparece o primeiro problema. A tentação óbvia é montar um dicionário e atribuir a cada palavra um índice: “empresa” → 1, “startup” → 2, “universidade” → 3. Isso falha por uma razão profunda: um índice é um rótulo disfarçado de número. A diferença entre índices não significa nada semanticamente.

Pense no número de um documento de identidade. Duas pessoas podem ter números consecutivos e não ter absolutamente nada em comum: cidade diferente, profissão diferente, nível educacional diferente. O número existe, mas não diz nada sobre quem é essa pessoa. Da mesma forma, atribuir a “empresa” o índice 1 e a “startup” o índice 2 não diz ao modelo que essas duas palavras habitam mundos parecidos. E o inverso também vale: “empresa” (1) poderia ficar numericamente mais perto de “universidade” (3) do que de “corporação” (10), não por significado, mas por mero acaso da ordenação.

O que precisamos é o contrário: uma representação em que a proximidade numérica reflita a proximidade de significado. Palavras parecidas devem ficar perto; palavras de mundos distintos devem ficar longe. A Figura 2.2 ilustra esse contraste.

Figura 2.2 - Índice numérico vs. representação por contexto

Ver por contexto →← Ver por índice

negócios

ensino superior

empresa1

Vizinhos no texto: funcionário, produto, mercado, investimento, cliente.

startup2

Vizinhos no texto: mercado, investimento, produto, cliente, funcionário.

universidade3

Vizinhos no texto: aluno, professor, currículo, pesquisa, campus.

mestrado4

Vizinhos no texto: dissertação, orientador, defesa, bolsa, pós-graduação.

corporação10

Vizinhos no texto: mercado, funcionário, produto, investimento.

Use o botão acima para reorganizar as palavras por contexto, e clique em cada palavra para ver com quais outras ela costuma aparecer no texto.

Fonte: elaboração própria (2026). Vizinhanças ilustrativas.

Fica claro, então, o que queremos: uma representação em que a distância reflita significado. Mas surge uma pergunta incômoda: como sabe uma máquina, que só vê texto, que “empresa”, “startup” e “corporação” são mais parecidas entre si do que com “mestrado” ou “salário”? Ninguém programou essa semelhança. Não existe nenhuma tabela de sentidos que possamos consultar. A resposta vem da linguística.

Em 1957, J. R. Firth resumiu numa frase o que hoje chamamos de hipótese distribucional: “conhecerás uma palavra pelas companhias que ela mantém” (Firth, 1957). A intuição é poderosa: o significado de uma palavra não está dentro dela, mas nos contextos em que ela aparece. Se observarmos milhões de frases, notaremos que “empresa” e “startup” aparecem rodeadas de palavras muito parecidas (funcionário, produto, mercado, investimento, cliente), enquanto “mestrado” aparece junto a palavras completamente distintas (dissertação, orientador, defesa, bolsa, pós-graduação). Essa diferença de vizinhanças é um sinal estatístico robusto: duas palavras que frequentam os mesmos contextos provavelmente descrevem realidades parecidas.

A hipótese distribucional tem uma consequência direta e prática: se contarmos com quais palavras cada token aparece num corpus enorme, podemos construir uma representação numérica em que a proximidade capture essa semelhança de contextos. Palavras com vizinhanças parecidas receberão representações parecidas; palavras com vizinhanças distintas receberão representações distintas. É isso, em essência, o que faz um embedding: o tema da seção seguinte.

2.6 Embeddings: significado em vetores

2.6.1 Tokenização: fatiando o texto em unidades

Antes de virar número, o texto precisa ser dividido em unidades discretas, os tokens. A pergunta de design é: qual o tamanho ideal de cada pedaço? Há duas saídas extremas, e vale entender por que nenhuma das duas é usada isoladamente.²

A primeira saída seria usar palavras inteiras como unidade. Isso cria dois problemas. Primeiro, o vocabulário de uma língua é praticamente ilimitado, somando nomes próprios, gírias, termos técnicos e palavras compostas, de modo que nenhuma lista fixa daria conta. Segundo, e mais grave: uma palavra que nunca apareceu no treino simplesmente não tem token correspondente, e o modelo não tem o que fazer com ela.

A solução adotada pela maioria das LLMs fica no meio do caminho: a tokenização por subpalavras, popularizada pela técnica de Byte-Pair Encoding (BPE) no contexto de tradução automática (Sennrich et al., 2016). A lógica se parece com montar uma palavra a partir de peças de um jogo de construção: peças grandes e prontas para os blocos mais comuns da língua, peças pequenas e combináveis para tudo o que for raro ou desconhecido. Palavras comuns viram um único token; palavras raras, longas ou inéditas são quebradas em subpalavras já conhecidas, de modo que qualquer texto, mesmo com uma palavra nunca vista antes, ainda pode ser escrito com peças do vocabulário. A Figura 2.3 ilustra o processo.

Figura 2.3 - Tokenização: o texto é fatiado em tokens, com palavras raras quebradas em subpalavras

Fonte: elaborado pelo autor (2026), com base em Sennrich et al. (2016). Tokens e identificadores são ilustrativos.

O identificador numérico de cada token, porém, ainda sofre do mesmo defeito do dicionário ingênuo: é um índice arbitrário, sem relação com o significado. Ele serve apenas para localizar o token. O passo seguinte é o que de fato carrega sentido.

2.6.2 Do token ao vetor: o embedding

A cada token o modelo associa um embedding: uma lista de números reais, isto é, um vetor, com dezenas a milhares de posições. Pense numa ficha de cadastro que descrevesse uma pessoa por números: altura, idade, anos de estudo, renda. Cada característica ocupa uma posição na ficha, e duas pessoas com fichas parecidas tendem a se parecer em vários aspectos. Um embedding faz algo análogo com palavras, só que com centenas ou milhares de “características” em vez de quatro, e essas características não são definidas por nós: emergem do treino.³

A ideia foi consolidada nos modelos neurais de linguagem (Bengio et al., 2003) e tornou-se central com técnicas como o word2vec (Mikolov, Chen, et al., 2013) e o GloVe (Pennington et al., 2014). Esse vetor não é atribuído à mão; cada uma de suas posições é um número ajustado durante o treino, e o conjunto define a localização do token num espaço de muitas dimensões. A Figura 2.4 mostra a conversão.

Figura 2.4 - Embedding: cada token vira um vetor de números, sua posição num espaço de muitas dimensões

Fonte: elaborado pelo autor (2026). Valores ilustrativos.

2.6.3 O espaço vetorial semântico

Quando todos os tokens viram vetores, eles passam a habitar um mesmo espaço vetorial: um espaço geométrico de muitas dimensões em que cada token é um ponto. O que torna esse espaço notável é que, treinado segundo a hipótese distribucional, ele organiza os pontos de modo que a proximidade geométrica reflete a proximidade de significado.⁴ Palavras de sentido próximo formam vizinhanças, e, mais surpreendente, certas direções no espaço passam a corresponder a relações sistemáticas.

Figura 2.5 - Espaço vetorial semântico: proximidade é sentido, e direções codificam relações

Fonte: elaborado pelo autor (2026), com base em Mikolov et al. (2013). Posições ilustrativas.

Nota de transição (para o Módulo 3): Este capítulo mostra o que são os embeddings e o que eles capturam, mas não como esses vetores são obtidos. Os valores de cada posição não são atribuídos manualmente: emergem do ajuste de parâmetros de uma rede neural exposta a enormes quantidades de texto. Esse mecanismo de aprendizado, o que significa “ajustar parâmetros” e como isso faz os vetores se organizarem, é precisamente o tema do próximo módulo.

2.7 Analogias: o mapa onde palavras próximas têm sentidos próximos

Uma analogia útil compara o espaço vetorial a um mapa. Numa cidade, lugares com função parecida tendem a ficar próximos, e direções no mapa correspondem a relações reais: ir “para o norte” significa a mesma coisa partindo de qualquer ponto. No espaço de embeddings, palavras de sentido próximo ficam próximas, e uma direção pode corresponder a uma relação como “feminino” ou “plural”, aplicável a vários pares de palavras. A analogia funciona para transmitir a intuição de proximidade e direção. Ela deixa de funcionar em dois aspectos. Primeiro, o mapa de uma cidade tem duas dimensões, ao passo que o espaço de embeddings tem centenas ou milhares, e nossa intuição visual não acompanha essa dimensionalidade.⁵ Segundo, as posições não foram desenhadas por um cartógrafo com um plano: emergiram estatisticamente dos dados, e por isso podem conter distorções e vieses herdados do texto de treino, um ponto retomado nos módulos sobre limitações e dados.

2.8 Da palavra ao vetor, em diagrama

A Figura 2.6 resume o pipeline completo de representação, do texto bruto à entrada efetiva da rede neural. Cada etapa é uma transformação: a tokenização discretiza o texto, a tabela de embeddings substitui cada identificador por um vetor, e o resultado é a sequência de vetores que alimenta as camadas seguintes.

Figura 2.6 - Pipeline de representação: do texto à sequência de vetores

Fonte: elaborado pelo autor (2026).

O ponto a reter do diagrama é que a representação é uma sequência de transformações sem perda de identidade: cada token mantém sua posição na sequência, e é justamente essa ordem que o próximo passo da arquitetura precisará levar em conta.

2.9 Principais Conceitos

• Token: unidade mínima em que o texto é fatiado para processamento; pode ser uma palavra, uma subpalavra ou um caractere.
• Tokenização: processo de dividir o texto em tokens; o uso de subpalavras (BPE) garante vocabulário finito e cobertura de palavras inéditas (Sennrich et al., 2016).
• Embedding: vetor de números reais associado a um token, que define sua posição num espaço de muitas dimensões (Bengio et al., 2003; Mikolov, Chen, et al., 2013).
• Espaço vetorial semântico: espaço geométrico em que a proximidade entre vetores reflete proximidade de significado.
• Hipótese distribucional: princípio segundo o qual o significado de uma palavra emerge dos contextos em que ela ocorre (Firth, 1957; Harris, 1954).

2.10 Mitos: “a IA lê letras” e “conta caracteres”

O primeiro equívoco é confundir o identificador do token com sua representação de significado. O índice no vocabulário é apenas um endereço arbitrário; quem carrega sentido é o embedding, o vetor associado a esse índice.

O segundo é imaginar que cada dimensão do embedding tem um significado nomeável, como “uma dimensão para gênero, outra para número”. Em geral, os eixos não são interpretáveis isoladamente; o significado está distribuído pelo conjunto das dimensões, e apenas certas direções combinadas correspondem a relações reconhecíveis.

O terceiro é supor que a analogia “rei menos homem mais mulher” funciona com precisão perfeita e universal. Trata-se de uma regularidade aproximada, observada com frequência, mas sujeita a falhas, especialmente fora dos pares mais comuns e em palavras polissêmicas. A regularidade ilustra o fenômeno, não uma lei exata.

2.11 Conexão com os Próximos Capítulos

Vimos o que é a representação por embeddings e o que ela captura. O Módulo 3 abre a engrenagem que falta: o que é uma rede neural e o que significa, mecanicamente, “aprender” esses vetores ajustando parâmetros. Com a representação e o aprendizado em mãos, o Módulo 4 mostrará como a arquitetura Transformer usa esses vetores, levando em conta a ordem da sequência e as relações entre tokens, para produzir entendimento contextual.

2.12 Leituras Recomendadas

• MIKOLOV, T. et al. Efficient Estimation of Word Representations in Vector Space. 2013. O artigo que popularizou os embeddings de palavras e suas regularidades.
• FIRTH, J. R. A Synopsis of Linguistic Theory. 1957. A origem da máxima distribucional que fundamenta a representação moderna.
• SENNRICH, R.; HADDOW, B.; BIRCH, A. Neural Machine Translation of Rare Words with Subword Units. 2016. A introdução das subpalavras (BPE) que tornou o vocabulário finito e robusto.
• BENGIO, Y. et al. A Neural Probabilistic Language Model. 2003. O modelo que consolidou a ideia de representar palavras como vetores aprendidos dentro de uma rede neural.
• PENNINGTON, J.; SOCHER, R.; MANNING, C. D. GloVe: Global Vectors for Word Representation. 2014. Uma alternativa ao word2vec que constrói embeddings diretamente a partir de estatísticas globais de coocorrência.

---

1. As operações matemáticas que a rede neural aplica (multiplicações de matrizes, somas, funções de ativação) exigem que todos os dados de entrada sejam valores numéricos. O texto, tal como o escrevemos, é uma sequência de caracteres: não pode entrar diretamente nessas operações. A tokenização e o embedding são a ponte que converte caracteres em números que a rede pode processar.

2. No outro extremo está a tokenização por caractere, em que cada letra é um token. O vocabulário fica minúsculo (poucas dezenas de símbolos) e nenhuma palavra é desconhecida, mas o preço é uma sequência muito mais longa para representar o mesmo texto, o que sobrecarrega o processamento. A tokenização por subpalavras busca o equilíbrio entre esses dois extremos: vocabulário administrável e sequências de tamanho razoável.

3. Ao contrário da ficha de cadastro, em que cada posição tem um rótulo claro (altura, idade), as posições de um embedding raramente correspondem a um conceito isolado e nomeável. O significado fica distribuído pelo conjunto das posições, e apenas combinações delas, não uma posição isolada, tendem a corresponder a relações reconhecíveis, como veremos na seção seguinte.

4. Essa “proximidade” pode ser medida de formas distintas, sendo a distância euclidiana e a similaridade de cosseno (que compara o ângulo entre dois vetores, ignorando seu tamanho) as mais comuns. A escolha da métrica não muda a ideia central: vetores parecidos representam significados parecidos. O exemplo clássico, observado no word2vec, é a regularidade que aproxima o vetor de “rei” menos o de “homem” mais o de “mulher” do vetor de “rainha” (Mikolov, Yih, et al., 2013). A Figura 2.5 ilustra a ideia numa projeção bidimensional.

5. Esse descompasso entre a intuição, formada num mundo de três dimensões, e o comportamento real de espaços de alta dimensão é conhecido como “maldição da dimensionalidade”: à medida que o número de dimensões cresce, noções intuitivas como “perto” e “longe” passam a se comportar de maneiras que desafiam o senso comum geométrico.