

Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
O Processamento de Linguagem Natural (PLN) é a subárea da Inteligência Artificial responsável por estudar a capacidade e as limitações de uma máquina de entender a linguagem dos seres humanos. Para poder realizar essa modelagem, são necessários pré-processamentos que abstraem e estruturam a língua, deixando apenas aquilo que representa uma informação relevante. Uma das etapas desse processo compreende a normalização. Uma tarefa que pode ser realizada dentro do processo de normalização é denominada de tokenização lexical. Considere a seguinte sentença:
A área de Ciência de Dados é muito interessante!
Assinale a alternativa correta que representa o resultado da tokenização lexical para essa sentença.
[‘A’, ‘área’, ‘de’, ‘Ciência’, ‘de’, ‘Dados’, ‘é’, ‘muito’, ‘interessante’, ‘!’]
[‘A’, ‘área’, ‘Ciência’, ‘Dados’, ‘interessante’, ‘!’]
[‘A área de Ciência de Dados é muito interessante!’]
A ÁREA DE CIÊNCIA DE DADOS É MUITO INTERESSANTE!