Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
Ao ser contratado por uma empresa da área de e-commerce, o...
Ao ser contratado por uma empresa da área de e-commerce, o cientista de dados Pedro foi alocado a um importante projeto: desenvolver um classificador para análise de sentimentos considerando as opiniões emitidas no Twitter pelos clientes dessa empresa. Para o início do trabalho, Pedro recebeu um pequeno conjunto de dados de tweets parcialmente anotados, que foram coletados da rede social por intermédio de uma API, usando como palavras-chave na busca os nomes de diversas empresas de e-commerce.
Como parte das escolhas de técnicas a serem utilizadas no projeto, Pedro optou pelo uso de word embeddings, com o objetivo de resolver o problema muito comum em processamento de linguagem natural de:
A
falta de anotação nos tweets, pois essa técnica gera automaticamente a anotação a partir das palavras que compõem o texto;
B
baixa quantidade de instâncias no conjunto de dados, pois essa técnica produz sobreamostragem da classe minoritária do conjunto de dados, incrementando-o;
C
maldição da dimensionalidade, pois essa técnica permite a representação das palavras como vetores de baixa dimensionalidade;
D
presença de outliers, pois essa técnica elimina as instâncias que não apresentam similaridade ao conjunto de dados como um todo;
E
flexão de palavras, pois essa técnica reduz substantivos flexionados em gênero ou número e verbos conjugados às suas formas mais básicas.