Imagem de fundo

Durante a avaliação de um modelo de linguagem generativa...

Durante a avaliação de um modelo de linguagem generativa, observou-se que, ao ser solicitado a fornecer referências bibliográficas sobre um tema altamente especializado, o sistema apresentou autores, títulos e periódicos inexistentes, embora a estrutura das citações estivesse em conformidade com padrões acadêmicos. Considerando os mecanismos de funcionamento desses modelos, o fenômeno descrito está mais diretamente relacionado ao fato de que:


A

O processo de tokenização pode introduzir distorções semânticas que levam o modelo a substituir entidades reais por entidades sintaticamente equivalentes.


B

A representação vetorial dos textos tende a privilegiar relações semânticas locais em detrimento de estruturas documentais completas.


C

A compressão dos parâmetros do modelo durante o treinamento reduz a capacidade de armazenamento de informações específicas, levando à reconstrução aproximada de conteúdo.


D

A geração de respostas decorre da estimativa probabilística de sequências linguísticas, sem que a existência factual das entidades mencionadas constitua requisito para sua produção.