

Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
Uma organização decidiu monitorar a opinião do público sobre ela nas redes sociais. Para isso, processou as mensagens com referências ao seu nome, a fim de possibilitar o uso de uma técnica de processamento de linguagem natural conhecida como análise de sentimentos.
Após transformar cada mensagem em uma string, um dos passos importantes nessa técnica é a tokenização, que consiste em
colocar todos os caracteres da mensagem em minúsculas.
colocar todos os verbos da mensagem no infinitivo.
dividir o texto da mensagem em palavras isoladas.
eliminar todos os marcadores HTML ou XML da mensagem.
substituir todos os caracteres acentuados da mensagem por suas versões sem acento.