Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâmetros, distribuído em formato não quantizado, meia-precisão. A quantidade mínima de memória necessária para carregar os pesos do modelo para inferência (sem gradientes), considerando apenas o espaço ocupado pelos pesos, é: Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâmetros, distribuído em formato não quantizado, meia-precisão. A quantidade mínima de memória necessária para carregar os pesos do modelo para inferência (sem gradientes), considerando apenas o espaço ocupado pelos pesos, é:

Considere-se a aplicação de um modelo grande de linguagem...

Q3534948

Ano: 2024

Prova: FGV - CVM - Analista - Área: Ciência de Dados Tarde. - 2024

Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâmetros, distribuído em formato não quantizado, meia-precisão.

A quantidade mínima de memória necessária para carregar os pesos do modelo para inferência (sem gradientes), considerando apenas o espaço ocupado pelos pesos, é:

8GB;

16GB;

32GB;

64GB;

128GB.

Comentários Marcadores Anotações (0) Estatísticas Reportar erro

Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâme...