O explorador de anatomia · Espécime 3D interativo
Gire um bloco transformer desmontado. Selecione qualquer marcador para examinar sua matemática, seus modos de falha e seu lugar na pilha.
Arraste para girar · As setas percorrem os marcadores
ESPÉCIME 3D · CLIQUE NUM PONTO PARA EXPLORAR
Seu navegador não expõe WebGL, então a versão 3D não pode ser desenhada. O conteúdo abaixo é o mesmo.
Codificação de entrada
Texto em inteiros
Divide o texto em unidades de subpalavra e mapeia cada uma para um inteiro. Todo custo seguinte — tamanho de contexto, preço por chamada, throughput — é contado nessas unidades.
Dados principais
A matemática
Parâmetros: Nenhum (uma tabela de consulta, não pesos aprendidos). Custo dominante: Desprezível na inferência.
Entre arquiteturas
As principais alternativas são BPE · SentencePiece · BPE em bytes · Unigram.
A jornada de um token
Texto em inteiros. Divide o texto em unidades de subpalavra e mapeia cada uma para um inteiro. Todo custo seguinte — tamanho de contexto, preço por chamada, throughput — é contado nessas unidades.
Modos de falha
Se este componente for limitado ou configurado incorretamente, o modelo perde capacidade de codificação de entrada.
Onde se encaixa
Marco histórico: BPE: Sennrich et al., 2016. Variantes em uso: BPE · SentencePiece · BPE em bytes · Unigram.