2 Representação da Informação

Pergunta central: Como uma máquina representa significado?

2.1 Introdução

No módulo anterior, situamos as LLMs como sistemas que aprendem a partir de texto. Ficou em aberto, porém, uma pergunta que a tradição conexionista pressupõe mas não responde sozinha: como um computador, que opera apenas sobre números, pode lidar com palavras, frases e, em última instância, com significado? Uma rede neural não enxerga letras nem entende idiomas; ela multiplica e soma números. Para que um texto entre nesse maquinário, é preciso primeiro convertê-lo em números, e essa conversão não pode ser arbitrária: precisa preservar, de alguma forma, as relações de sentido entre as palavras.

Este capítulo trata exatamente dessa ponte entre linguagem e número. Veremos como um texto é fatiado em unidades chamadas tokens, como cada token é transformado em uma lista de números chamada embedding, e como o conjunto desses números define um espaço vetorial em que a proximidade geométrica passa a refletir proximidade de significado. Ao final, a pergunta central, que indaga como uma máquina representa significado, terá uma resposta concreta: o significado, para a máquina, é uma posição num espaço de muitas dimensões.

A resposta tem um limite importante, que adiantamos desde já. Mostraremos o que é essa representação e o que ela captura, mas o mecanismo pelo qual esses números são efetivamente aprendidos fica para o módulo seguinte. A ordem é deliberada: é mais fácil entender o que uma rede neural ajusta depois de ver, primeiro, o que precisa ser representado.

2.2 Objetivos de Aprendizagem

Explicar por que texto precisa ser convertido em números antes de entrar numa rede neural.
Descrever o que é tokenização e por que se usam subpalavras em vez de palavras inteiras.
Definir embedding e compreender que cada token corresponde a um ponto num espaço de muitas dimensões.
Interpretar a hipótese distribucional e como ela permite que a geometria do espaço capture relações de significado.

2.3 Perguntas Norteadoras

Por que não basta numerar as palavras de um dicionário de 1 a N para representá-las?
O que se ganha ao quebrar uma palavra rara em pedaços menores?
Como duas palavras de sentido próximo podem acabar próximas num espaço puramente numérico?
Em que sentido uma “direção” nesse espaço pode corresponder a uma relação como “plural” ou “feminino”?

2.4 Mapa Conceitual do Capítulo

A Figura 2.1 mostra o percurso que um texto faz até virar uma representação que a rede neural pode processar: do texto bruto aos tokens, dos tokens aos embeddings, e destes ao espaço vetorial onde mora o significado.

Figura 2.1 - Mapa conceitual: do texto ao espaço vetorial de significado

Fonte: elaborado pelo autor (2026).

2.5 Tokens: os tijolos do texto

2.5.1 O problema: o significado não é um número óbvio

Antes de falar de representações, é preciso esclarecer o que vamos representar: um token. Um token é a unidade mínima de texto que o modelo processa: por ora, pense nele simplesmente como uma palavra. O modelo recebe uma sequência de tokens e precisa converter cada um deles em um número para poder operar sobre eles.¹

Aqui aparece o primeiro problema. A tentação óbvia é montar um dicionário e atribuir a cada palavra um índice: “empresa” → 1, “startup” → 2, “universidade” → 3. Isso falha por uma razão profunda: um índice é um rótulo disfarçado de número. A diferença entre índices não significa nada semanticamente.

Pense no número de um documento de identidade. Duas pessoas podem ter números consecutivos e não ter absolutamente nada em comum: cidade diferente, profissão diferente, nível educacional diferente. O número existe, mas não diz nada sobre quem é essa pessoa. Da mesma forma, atribuir a “empresa” o índice 1 e a “startup” o índice 2 não diz ao modelo que essas duas palavras habitam mundos parecidos. E o inverso também vale: “empresa” (1) poderia ficar numericamente mais perto de “universidade” (3) do que de “corporação” (10), não por significado, mas por mero acaso da ordenação.

O que precisamos é o contrário: uma representação em que a proximidade numérica reflita a proximidade de significado. Palavras parecidas devem ficar perto; palavras de mundos distintos devem ficar longe. A Figura 2.2 ilustra esse contraste.

Figura 2.2 - Índice numérico vs. representação por contexto

Ver por contexto →← Ver por índice

negócios

ensino superior

empresa1

Vizinhos no texto: funcionário, produto, mercado, investimento, cliente.

startup2

Vizinhos no texto: mercado, investimento, produto, cliente, funcionário.

universidade3

Vizinhos no texto: aluno, professor, currículo, pesquisa, campus.

mestrado4

Vizinhos no texto: dissertação, orientador, defesa, bolsa, pós-graduação.

corporação10

Vizinhos no texto: mercado, funcionário, produto, investimento.

Use o botão acima para reorganizar as palavras por contexto, e clique em cada palavra para ver com quais outras ela costuma aparecer no texto.

Fonte: elaboração própria (2026). Vizinhanças ilustrativas.

Fica claro, então, o que queremos: uma representação em que a distância reflita significado. Mas surge uma pergunta incômoda: como sabe uma máquina, que só vê texto, que “empresa”, “startup” e “corporação” são mais parecidas entre si do que com “mestrado” ou “salário”? Ninguém programou essa semelhança. Não existe nenhuma tabela de sentidos que possamos consultar. A resposta vem da linguística.

Em 1957, J. R. Firth resumiu numa frase o que hoje chamamos de hipótese distribucional: “conhecerás uma palavra pelas companhias que ela mantém” (Firth, 1957). A intuição é poderosa: o significado de uma palavra não está dentro dela, mas nos contextos em que ela aparece. Se observarmos milhões de frases, notaremos que “empresa” e “startup” aparecem rodeadas de palavras muito parecidas (funcionário, produto, mercado, investimento, cliente), enquanto “mestrado” aparece junto a palavras completamente distintas (dissertação, orientador, defesa, bolsa, pós-graduação). Essa diferença de vizinhanças é um sinal estatístico robusto: duas palavras que frequentam os mesmos contextos provavelmente descrevem realidades parecidas.

A hipótese distribucional tem uma consequência direta e prática: se contarmos com quais palavras cada token aparece num corpus enorme, podemos construir uma representação numérica em que a proximidade capture essa semelhança de contextos. Palavras com vizinhanças parecidas receberão representações parecidas; palavras com vizinhanças distintas receberão representações distintas. É isso, em essência, o que faz um embedding: o tema da seção seguinte.

2.5.2 Tokenização: fatiando o texto em unidades

Antes de virar número, o texto precisa ser dividido em unidades discretas, os tokens. A pergunta de design é: qual o tamanho ideal de cada pedaço? Há duas saídas extremas, e vale entender por que nenhuma das duas é usada isoladamente.²

A primeira saída seria usar palavras inteiras como unidade. Isso cria dois problemas. Primeiro, o vocabulário de uma língua é praticamente ilimitado, somando nomes próprios, gírias, termos técnicos e palavras compostas, de modo que nenhuma lista fixa daria conta. Segundo, e mais grave: uma palavra que nunca apareceu no treino simplesmente não tem token correspondente, e o modelo não tem o que fazer com ela.

A solução adotada pela maioria das LLMs fica no meio do caminho: a tokenização por subpalavras, popularizada pela técnica de Byte-Pair Encoding (BPE) no contexto de tradução automática (Sennrich et al., 2016). A lógica se parece com montar uma palavra a partir de peças de um jogo de construção: peças grandes e prontas para os blocos mais comuns da língua, peças pequenas e combináveis para tudo o que for raro ou desconhecido. Palavras comuns viram um único token; palavras raras, longas ou inéditas são quebradas em subpalavras já conhecidas, de modo que qualquer texto, mesmo com uma palavra nunca vista antes, ainda pode ser escrito com peças do vocabulário. A Figura 2.3 ilustra o processo.

Figura 2.3 - Tokenização: o texto é fatiado em tokens, com palavras raras quebradas em subpalavras

Fonte: elaborado pelo autor (2026), com base em Sennrich et al. (2016). Tokens e identificadores são ilustrativos.

2.5.3 O que a tokenização provoca no dia a dia

A tokenização parece um detalhe técnico, mas explica vários comportamentos que confundem quem usa LLMs. Vale conhecê-los, porque são fonte comum de frustração e de conclusões erradas sobre o que o modelo “sabe”.

O caso mais famoso é a contagem de letras. Peça a uma LLM para contar quantas vezes a letra “r” aparece em “strawberry” (morango, em inglês) e é comum que ela erre. A razão não é burrice: o modelo não vê as letras individuais. Ele vê a palavra fatiada em poucos tokens de subpalavra (algo como “st”, “raw”, “berry”), e nunca teve acesso aos caracteres um a um. Pedir que conte letras é pedir que descreva algo que sua representação apagou, como pedir a alguém que conta sílabas para dizer quantos átomos há numa palavra.

A segunda consequência é econômica, e retomada no Módulo 13: idiomas diferentes gastam números diferentes de tokens para o mesmo conteúdo. Os tokenizadores foram otimizados sobretudo para o inglês, então o português (e mais ainda idiomas com outros alfabetos) tende a ser fatiado em mais tokens para dizer a mesma coisa. Como se paga por token, o mesmo texto pode custar mais em português do que em inglês, e ocupar mais espaço na janela de contexto.

A terceira aparece com números e datas. Um número grande como “1.048.576” pode ser quebrado em vários tokens de formas pouco intuitivas, o que ajuda a explicar por que modelos às vezes erram em aritmética com números longos: a própria representação do número está fragmentada de um jeito que não corresponde ao seu valor. É mais um lembrete de que cálculo exato é trabalho para uma ferramenta (Módulo 10), não para a adivinhação do modelo.

A Figura 2.4 torna concreta a segunda consequência, a econômica: a mesma pergunta, escrita em português e em inglês, gasta números diferentes de tokens.

Figura 2.4 - A mesma frase custa mais tokens em português do que em inglês

Fonte: elaborado pelo autor (2026). Contagens ilustrativas de um tokenizador de uso comum.

O identificador numérico de cada token, porém, ainda sofre do mesmo defeito do dicionário ingênuo: é um índice arbitrário, sem relação com o significado. Ele serve apenas para localizar o token. O passo seguinte é o que de fato carrega sentido.

2.6 Embeddings: significado em vetores

2.6.1 Do token ao vetor: o embedding

A cada token o modelo associa um embedding: uma lista de números reais, isto é, um vetor, com dezenas a milhares de posições. Pense numa ficha de cadastro que descrevesse uma pessoa por números: altura, idade, anos de estudo, renda. Cada característica ocupa uma posição na ficha, e duas pessoas com fichas parecidas tendem a se parecer em vários aspectos. Um embedding faz algo análogo com palavras, só que com centenas ou milhares de “características” em vez de quatro, e essas características não são definidas por nós: emergem do treino.³

A ideia foi consolidada nos modelos neurais de linguagem (Bengio et al., 2003) e tornou-se central com técnicas como o word2vec (Mikolov, Chen, et al., 2013) e o GloVe (Pennington et al., 2014). Esse vetor não é atribuído à mão; cada uma de suas posições é um número ajustado durante o treino, e o conjunto define a localização do token num espaço de muitas dimensões. A Figura 2.5 mostra a conversão.

Figura 2.5 - Embedding: cada token vira um vetor de números, sua posição num espaço de muitas dimensões

Fonte: elaborado pelo autor (2026). Valores ilustrativos.

2.6.2 O espaço vetorial semântico

Quando todos os tokens viram vetores, eles passam a habitar um mesmo espaço vetorial: um espaço geométrico de muitas dimensões em que cada token é um ponto. O que torna esse espaço notável é que, treinado segundo a hipótese distribucional, ele organiza os pontos de modo que a proximidade geométrica reflete a proximidade de significado.⁴ Palavras de sentido próximo formam vizinhanças, e, mais surpreendente, certas direções no espaço passam a corresponder a relações sistemáticas.

Figura 2.6 - Espaço vetorial semântico: proximidade é sentido, e direções codificam relações

Fonte: elaborado pelo autor (2026), com base em Mikolov et al. (2013). Posições ilustrativas.

2.6.3 Embeddings estáticos e contextuais

Há uma limitação importante nos embeddings clássicos que descrevemos até aqui, e superá-la foi um dos saltos que levaram às LLMs modernas. No word2vec e no GloVe, cada palavra tem um único vetor, fixo, o chamado embedding estático. Isso cria um problema com palavras que têm mais de um sentido. A palavra “banco” recebe o mesmo vetor em “sentei no banco da praça” e em “fui ao banco sacar dinheiro”, embora signifiquem coisas completamente diferentes. O embedding estático é obrigado a misturar os dois sentidos numa média, que não serve bem a nenhum.

A solução são os embeddings contextuais: em vez de um vetor fixo por palavra, o vetor de cada token é recalculado conforme as palavras ao seu redor. Nesse regime, “banco” ganha um vetor puxado para o mundo dos móveis quando cercado de “praça” e “sentei”, e outro, puxado para o mundo financeiro, quando cercado de “sacar” e “dinheiro”. É exatamente isso que a arquitetura Transformer faz, por meio do mecanismo de atenção, e é o tema do Módulo 4. Por ora, guarde a distinção: os embeddings deste capítulo são o ponto de partida (a tabela inicial que associa um vetor a cada token), e é a rede que, camada a camada, os transforma em representações sensíveis ao contexto.

Importante

Caso real: o viés que mora nos vetores. A mesma geometria que produz a bela analogia “rei − homem + mulher ≈ rainha” também produz outras, bem menos inocentes. Bolukbasi e colaboradores mostraram, em 2016, que embeddings treinados sobre grandes textos da web respondiam a “homem está para programador de computador assim como mulher está para…” com “dona de casa” (Bolukbasi et al., 2016). O modelo não inventou esse estereótipo; ele o herdou do texto humano em que foi treinado, e o cristalizou na geometria do espaço. A lição é dupla e atravessa o livro: primeiro, embeddings capturam não só significado, mas também os vieses da sociedade que produziu os textos; segundo, “aprendeu dos dados” nunca é sinônimo de “neutro”. Esse é um dos motivos pelos quais a curadoria dos dados de treino (Módulo 5) e a avaliação cuidadosa (Módulo 8) importam tanto.

Nota de transição (para o Módulo 3): Este capítulo mostra o que são os embeddings e o que eles capturam, mas não como esses vetores são obtidos. Os valores de cada posição não são atribuídos manualmente: emergem do ajuste de parâmetros de uma rede neural exposta a enormes quantidades de texto. Esse mecanismo de aprendizado, o que significa “ajustar parâmetros” e como isso faz os vetores se organizarem, é precisamente o tema do próximo módulo.

2.7 Na prática: veja a tokenização e o espaço vetorial

Dois experimentos gratuitos tornam visíveis os dois conceitos centrais do capítulo.

Experimento 1: fatie o texto em tokens. Acesse um tokenizador online (o Tiktokenizer, em tiktokenizer.vercel.app, mostra a fatia colorida na hora). Cole uma frase e veja como ela é quebrada em tokens; note que palavras comuns viram um token só e palavras raras ou compostas se partem em pedaços. Agora faça o teste que revela a economia do Módulo 13: escreva a mesma frase em português e em inglês e compare a contagem. O português quase sempre gasta mais tokens. Por fim, cole uma palavra como “strawberry” ou um número longo e veja, com os próprios olhos, por que o modelo tem dificuldade de contar suas letras: ele nunca as vê separadas.

Experimento 2: navegue pelo espaço vetorial. O Embedding Projector (em projector.tensorflow.org) mostra, em 3D, um espaço real de embeddings. Escolha uma palavra e peça os vizinhos mais próximos: você verá, de fato, palavras de sentido próximo se agrupando, a hipótese distribucional em ação. Explore alguns termos e observe os agrupamentos (animais perto de animais, países perto de países). É a intuição do “mapa de significados” deixando de ser metáfora e virando algo que você pode girar e inspecionar.

2.8 Analogias: o mapa onde palavras próximas têm sentidos próximos

Uma analogia útil compara o espaço vetorial a um mapa. Numa cidade, lugares com função parecida tendem a ficar próximos, e direções no mapa correspondem a relações reais: ir “para o norte” significa a mesma coisa partindo de qualquer ponto. No espaço de embeddings, palavras de sentido próximo ficam próximas, e uma direção pode corresponder a uma relação como “feminino” ou “plural”, aplicável a vários pares de palavras. A analogia funciona para transmitir a intuição de proximidade e direção. Ela deixa de funcionar em dois aspectos. Primeiro, o mapa de uma cidade tem duas dimensões, ao passo que o espaço de embeddings tem centenas ou milhares, e nossa intuição visual não acompanha essa dimensionalidade.⁵ Segundo, as posições não foram desenhadas por um cartógrafo com um plano: emergiram estatisticamente dos dados, e por isso podem conter distorções e vieses herdados do texto de treino, um ponto retomado nos módulos sobre limitações e dados.

2.9 Da palavra ao vetor, em diagrama

A Figura 2.7 resume o pipeline completo de representação, do texto bruto à entrada efetiva da rede neural. Cada etapa é uma transformação: a tokenização discretiza o texto, a tabela de embeddings substitui cada identificador por um vetor, e o resultado é a sequência de vetores que alimenta as camadas seguintes.

Figura 2.7 - Pipeline de representação: do texto à sequência de vetores

Fonte: elaborado pelo autor (2026).

O ponto a reter do diagrama é que a representação é uma sequência de transformações sem perda de identidade: cada token mantém sua posição na sequência, e é justamente essa ordem que o próximo passo da arquitetura precisará levar em conta.

2.10 Principais Conceitos

Token: unidade mínima em que o texto é fatiado para processamento; pode ser uma palavra, uma subpalavra ou um caractere.
Tokenização: processo de dividir o texto em tokens; o uso de subpalavras (BPE) garante vocabulário finito e cobertura de palavras inéditas (Sennrich et al., 2016).
Embedding: vetor de números reais associado a um token, que define sua posição num espaço de muitas dimensões (Bengio et al., 2003; Mikolov, Chen, et al., 2013).
Espaço vetorial semântico: espaço geométrico em que a proximidade entre vetores reflete proximidade de significado.
Embeddings estáticos vs. contextuais: um vetor fixo por palavra (word2vec) versus um vetor recalculado conforme o contexto (o que o Transformer faz, Módulo 4).
Viés em embeddings: estereótipos herdados dos textos de treino que ficam gravados na geometria do espaço (Bolukbasi et al., 2016).
Hipótese distribucional: princípio segundo o qual o significado de uma palavra emerge dos contextos em que ela ocorre (Firth, 1957; Harris, 1954).

2.11 Mitos: “a IA lê letras” e “conta caracteres”

O primeiro equívoco é confundir o identificador do token com sua representação de significado. O índice no vocabulário é apenas um endereço arbitrário; quem carrega sentido é o embedding, o vetor associado a esse índice.

O segundo é imaginar que cada dimensão do embedding tem um significado nomeável, como “uma dimensão para gênero, outra para número”. Em geral, os eixos não são interpretáveis isoladamente; o significado está distribuído pelo conjunto das dimensões, e apenas certas direções combinadas correspondem a relações reconhecíveis.

O terceiro é supor que a analogia “rei menos homem mais mulher” funciona com precisão perfeita e universal. Trata-se de uma regularidade aproximada, observada com frequência, mas sujeita a falhas, especialmente fora dos pares mais comuns e em palavras polissêmicas. A regularidade ilustra o fenômeno, não uma lei exata.

2.12 Conexão com os Próximos Capítulos

Vimos o que é a representação por embeddings e o que ela captura. O Módulo 3 abre a engrenagem que falta: o que é uma rede neural e o que significa, mecanicamente, “aprender” esses vetores ajustando parâmetros. Com a representação e o aprendizado em mãos, o Módulo 4 mostrará como a arquitetura Transformer usa esses vetores, levando em conta a ordem da sequência e as relações entre tokens, para produzir entendimento contextual.

2.13 Para ir além

Para fazer (experimente e observe)

Tiktokenizer (tiktokenizer.vercel.app): fatie frases em tokens, compare a contagem em PT e EN e veja por que o modelo erra ao contar letras.
Embedding Projector (projector.tensorflow.org): navegue em 3D por um espaço de embeddings real e inspecione os vizinhos de uma palavra.
Jay Alammar, The Illustrated Word2vec: uma explicação visual e intuitiva de como palavras viram vetores.

Para ler (aprofundar os fundamentos)

MIKOLOV, T. et al. Efficient Estimation of Word Representations in Vector Space. 2013. O artigo que popularizou os embeddings de palavras e suas regularidades.
BOLUKBASI, T. et al. Man is to Computer Programmer as Woman is to Homemaker?. 2016. O estudo que expôs o viés de gênero embutido nos embeddings.
FIRTH, J. R. A Synopsis of Linguistic Theory. 1957. A origem da máxima distribucional que fundamenta a representação moderna.
SENNRICH, R.; HADDOW, B.; BIRCH, A. Neural Machine Translation of Rare Words with Subword Units. 2016. A introdução das subpalavras (BPE) que tornou o vocabulário finito e robusto.
BENGIO, Y. et al. A Neural Probabilistic Language Model. 2003. O modelo que consolidou a ideia de representar palavras como vetores aprendidos dentro de uma rede neural.

As operações matemáticas que a rede neural aplica (multiplicações de matrizes, somas, funções de ativação) exigem que todos os dados de entrada sejam valores numéricos. O texto, tal como o escrevemos, é uma sequência de caracteres: não pode entrar diretamente nessas operações. A tokenização e o embedding são a ponte que converte caracteres em números que a rede pode processar.↩︎
No outro extremo está a tokenização por caractere, em que cada letra é um token. O vocabulário fica minúsculo (poucas dezenas de símbolos) e nenhuma palavra é desconhecida, mas o preço é uma sequência muito mais longa para representar o mesmo texto, o que sobrecarrega o processamento. A tokenização por subpalavras busca o equilíbrio entre esses dois extremos: vocabulário administrável e sequências de tamanho razoável.↩︎
Ao contrário da ficha de cadastro, em que cada posição tem um rótulo claro (altura, idade), as posições de um embedding raramente correspondem a um conceito isolado e nomeável. O significado fica distribuído pelo conjunto das posições, e apenas combinações delas, não uma posição isolada, tendem a corresponder a relações reconhecíveis, como veremos na seção seguinte.↩︎
Essa “proximidade” pode ser medida de formas distintas, sendo a distância euclidiana e a similaridade de cosseno (que compara o ângulo entre dois vetores, ignorando seu tamanho) as mais comuns. A escolha da métrica não muda a ideia central: vetores parecidos representam significados parecidos. O exemplo clássico, observado no word2vec, é a regularidade que aproxima o vetor de “rei” menos o de “homem” mais o de “mulher” do vetor de “rainha” (Mikolov, Yih, et al., 2013). A Figura 2.6 ilustra a ideia numa projeção bidimensional.↩︎
Esse descompasso entre a intuição, formada num mundo de três dimensões, e o comportamento real de espaços de alta dimensão é conhecido como “maldição da dimensionalidade”: à medida que o número de dimensões cresce, noções intuitivas como “perto” e “longe” passam a se comportar de maneiras que desafiam o senso comum geométrico.↩︎