Seu próximo nível começa aqui
Com a Assinatura Ilimitada, você tem tudo que precisa para sua aprovação.
Com a Assinatura Ilimitada, você combina prática, teoria e método em uma única assinatura com tudo que você precisa para sua aprovação.
- Gran Questões
- Questões
Questões de Concurso sobre Técnicas de pré-processamento
Disciplina
1
Assunto
1
Banca
Instituição
Cargo
Ano
Carreira
Área de formação
Escolaridade
Dificuldade
Comentários:
Professores
Alunos
Meus Comentários
Vídeo
Minhas questões:
Resolvidas
Não resolvidas
Certas
Erradas
Tipo de questão:
Certo e errado
Múltipla escolha
Incluir questões:
Anuladas
Desatualizadas
Questões:
Todas as questões
Filtro simplificado
Questões
Todas as questões
25
questões
encontradas
20
Mais recentes
Uma equipe de planejamento da SEPLAG está preparando um conjunto de dados para análise em Python, usando Pandas. O DataFrame df contém informações sobre projetos estratégicos, incluindo colunas como projeto, responsavel, orcamento, prazo_dias e cpf_responsavel. Durante a análise exploratória, foram identificados valores ausentes em prazo_dias, duplicatas em projeto e valores extremos em orcamento.Além disso, os dados serão compartilhados com parceiros externos. Em condições ideais, uma prática que se adequa a este cenário é
A
criar os gráficos finais primeiro e realizar a análise exploratória em seguida, pois isso evita alterações nos dados que possam comprometer a visualização.
B
remover valores ausentes em prazo_dias, usando df.dropna (subset='prazo_dias'), o que garante que todos os registros com dados incompletos sejam eliminados.
C
aplicar um tipo de anonimização na coluna cpf_responsavel, utilizando um salt, com df['cpf_responsavel'] = df ['cpf_responsavel'].apply(lambda x: hash (salt + str(x)), o que converte os CPFs em identificadores não reversíveis e menos suscetíveis à reidentificação.
D
promover a detecção de outliers em orçamento, usando df['orcamento']= df['orcamento'].drop_outliers(),pois esses valores indicam desvios estatísticos significativos em relação à média ou à massa total dos dados.
E
remover duplicatas em projeto, usando o comando df.drop_duplicates (subset=None, keep=None, inplace=False), que verifica a coluna projeto e remove todos os registros duplicados diretamente sobre o Dataframe df.
Uma equipe de analistas de um Ministério Público está preparando um conjunto de dados contendo informações de denúncias. Parte do pré-processamento envolve o uso de técnicas de feature engineering para o tratamento de valores ausentes em colunas categóricas antes da aplicação de algoritmos de aprendizado de máquina. Para isso, foi desenvolvido o código abaixo.
import pandas as pd
# Pequeno conjunto de dados de exemplo
data = {
"tipo_denuncia": ["Ambiental", None, "Penal", "Penal", None],
"origem": ["Anonima", "Identificada", None, "Anonima", "Anonima"]
}
df = pd.DataFrame (data)
# Seleciona colunas categóricas
categorical_cols = df.select_dtypes (include=['object']).columns
# Substitui valores ausentes pela categoria mais frequente
for col in categorical_cols:
mode = df[col].mode () [0]
__I__
print (df)
Considerando que esse código será executado em condições ideais, o comando que deve preencher corretamente a lacuna I, para garantir que as variáveis categóricas tenham seus valores ausentes substituídos pela categoria mais frequente, é:
A
df[col].fillna(inplace=None, 'Desconhecido')
B
df[col].append(mode)
C
df[col] = df[col].fillna(mode)
D
df[col].dropna(inplace=1)
E
df[col] = df[col].replace(mode, None)
Ao utilizar a biblioteca Pandas em Python para realizar técnicas de limpeza e imputação em um DataFrame chamado dados, o analista encontra valores ausentes (NaN) na coluna de rendimentos. O método apropriado e direto do Pandas para substituir esses valores pela média da coluna é
A
dados['rendimento'].dropna(mean)
B
dados['rendimento'].replace(NaN, media)
C
dados['rendimento'].fillna(dados['rendimento'].mean())
D
dados['rendimento'].impute(method='mean')
E
dados['rendimento'].insert(mean, inplace=True)
Uma equipe de Engenharia de Computação está pré-processando textos de relatórios de falhas de software para análise automática de tendências em processamento de linguagem natural. O primeiro passo no pré-processamento é dividir a frase em unidades menores para que o modelo possa analisá-las individualmente.
O processo inicial de PLN que consiste em dividir uma sequência de texto em unidades menores, como palavras, subpalavras ou sentenças é o(a)
A
Stemming.
B
Lemmatization.
C
Normalização.
D
Classificação de Texto.
E
Tokenização.
Durante a análise de comentários publicados em uma rede social, uma equipe de ciência de dados removeu palavras muito frequentes e pouco informativas, como artigos e preposições, e descartou termos que não atendiam aos critérios definidos.
Qual é o principal objetivo dessa etapa de pré-processamento?
A
Aumentar a quantidade de palavras disponíveis para a análise.
B
Classificar definitivamente os comentários em categorias.
C
Reduzir o volume de dados, mantendo os termos mais relevantes.
D
Traduzir automaticamente todos os textos para um único idioma.
Diante da integração de cadastros de contribuintes provenientes de múltiplos sistemas fiscais, sujeitos a divergências semânticas em relação à Classificação Nacional de Atividades Econômicas (CNAE), abreviações e classificações internas, e visando garantir rastreabilidade para auditoria e reprocessamento, a técnica de pré-processamento adequada ao cenário apresentado é
A
a remoção de registros divergentes para reduzir ruído, aplicando regra de survivorship para definição do registro mestre.
B
a compressão de dados históricos antes das validações para reduzir volume de processamento.
C
a padronização sintática (caixa, acentos, máscara) de campos textuais antes da carga analítica.
D
a deduplicação baseada nas chaves primárias dos sistemas de origem, mantendo divergências irreconciliáveis.
E
o enriquecimento semântico com dicionários de referência e regras de correspondência versionadas e auditáveis.
Durante a construção de um painel institucional sobre desempenho legislativo, uma equipe de análise de dados consolidou informações provenientes de sistemas de tramitação, registros de votação, indicadores orçamentários e bases administrativas. Na etapa de preparação dos dados, foram identificados campos sem preenchimento em determinadas variáveis, registros contendo valores excepcionalmente distantes do comportamento predominante da base e diferentes padrões de preenchimento para atributos equivalentes oriundos de sistemas distintos. Como a qualidade dos resultados analíticos dependia diretamente da confiabilidade dos dados processados, tornou-se necessário aplicar procedimentos adequados de pré-processamento.
Assinale a alternativa que apresenta uma associação tecnicamente correta entre os problemas identificados e as respectivas ações de tratamento.
A
Valores ausentes devem ser classificados automaticamente como outliers, enquanto observações extremas devem ser removidas independentemente do contexto de negócio.
B
A padronização tem como finalidade eliminar observações extremas, enquanto a detecção de outliers destina-se exclusivamente à correção de campos não preenchidos.
C
O tratamento de valores ausentes consiste apenas na exclusão dos registros afetados, dispensando a análise do impacto estatístico sobre o conjunto de dados.
D
A detecção de outliers busca identificar observações que se afastam significativamente do comportamento esperado, enquanto a padronização procura uniformizar representações equivalentes dos dados.
E
A presença de valores ausentes caracteriza necessariamente erro de coleta, exigindo descarte obrigatório dos registros antes de qualquer análise estatística.
Alguns algoritmos de mineração de dados requerem que os atributos sejam categóricos, o que impossibilita o uso direto de dados numéricos. Para contornar essa limitação, pode-se aplicar a discretização. Acerca desse processo, assinale a opção correta.
A
A discretização não é recomendada para atributos contínuos, pois reduz a capacidade dos algoritmos de aprender padrões úteis.
B
A discretização baseada em histograma utiliza os intervalos de frequência do histograma para segmentar os dados, e os valores são substituídos conforme a faixa em que se encontram.
C
A discretização baseada em entropia é uma função linear por meio da qual se busca maximizar o ganho de informação ao se dividir o conjunto de dados, obtendo-se intervalos com maior relevância para classificação.
D
A discretização por agrupamento atribui aleatoriamente os valores do atributo numérico a grupos fixos, sem levar em conta critérios ou similaridades entre os dados.
E
A técnica de encaixotamento (binning) substitui os valores de um atributo por limites máximos e mínimos arbitrários, desconsideradas a média e a mediana.
Analise as seguintes assertivas sobre o tratamento de dados faltantes na etapa de pré-processamento de dados:
I. Eliminar os objetos com valores faltantes é uma alternativa não indicada quando poucos atributos do objeto possuem valores ausentes, quando o número de atributos com valores ausentes varia muito entre os objetos ou quando o número de objetos que restarem forem poucos.
II. Preencher manualmente valores para os atributos com valores ausentes não é uma alternativa factível quando o número de objetos ou atributos com valores ausentes for muito grande.
III. Utilizar algum método ou heurística para automaticamente definir valores para atributos com valores ausentes é uma alternativa bastante utilizada.
Quais estão corretas?
A
Apenas I.
B
Apenas III.
C
Apenas I e II.
D
Apenas II e III.
E
I, II e III.
Em conjuntos de dados, é comum deparar-se com valores faltantes, que podem surgir por diversas razões, como erros na coleta, falhas de registro ou respostas omitidas. A presença desses valores pode comprometer a qualidade das análises e a eficácia dos modelos preditivos. Portanto, é essencial aplicar técnicas adequadas para lidar com essas lacunas de maneira eficaz. Qual técnica é apropriada para lidar com valores faltantes em um conjunto de dados?
A
Ignorar os valores faltantes durante a análise.
B
Substituir os valores faltantes pela média ou mediana da coluna.
C
Duplicar as linhas que contêm valores faltantes.
D
Remover as colunas que contêm valores faltantes.
O pré-processamento de dados, que inclui as etapas de limpeza e normalização, é opcional no tratamento de grandes volumes de dados, pois ferramentas modernas como o Spark conseguem lidar com dados brutos de forma eficiente.
C
Certo
E
Errado
Em um pipeline de pré-processamento de linguagem natural aplicado ao domínio jurídico, a tokenização deve, necessariamente, ser precedida pela lematização, uma vez que a lematização opera sobre formas canônicas já segmentadas.
C
Certo
E
Errado
Um cientista de dados da Controladoria está preparando um dataset de despesas públicas para ser utilizado em um algoritmo de Machine Learning baseado em distâncias como K-Nearest Neighbors - KNN.
A coluna Valor_Despesa varia amplamente, com valores entre R$ 100,00 (mínimo) e R$ 5.000.000,00 (máximo).
Assinale a opção que indica a técnica de Normalização Numérica mais adequada para reescalonar os dados da coluna Valor_Despesa, para que todos os seus valores sejam mapeados para um intervalo fixo entre 0 e 1.
A
Discretização baseada em largura (Equal Width Binning).
B
Padronização (Standardization ou Z-Score).
C
Discretização baseada em frequência.
D
Codificação One-Hot Encoding.
E
Normalização Min-Max.
Uma equipe está trabalhando em um projeto de análise preditiva com base em dados estruturados provenientes de diferentes fontes de um Tribunal Regional do Trabalho. Durante a etapa de pré-processamento, o time precisa lidar com valores ausentes/altantes, escalonar os dados para uniformizar as unidades e selecionar as variáveis mais importantes para treinar um modelo supervisionado. Para realizar estas tarefas nesta etapa, a equipe deve
A
utilizar uma Convolutional Neural Network (CNN) para preencher valores ausentes, normalizar os dados com a técnica Principal Component Analysis (PCA) e realizar redução dimensional com regressão logística.
B
aplicar a imputação de valores ausentes, escalonar os dados utilizando-se CNN e identificar variáveis importantes por meio da análise de cluster k-means.
C
preencher os valores ausentes com imputação (média ou mediana), escalonar os dados com standard scaler e realizar a seleção de variáveis com base na importância de features calculada por um modelo de árvore de decisão.
D
remover diretamente todas as linhas com valores ausentes, normalizar os dados com decomposição em valores singulares (SVD) e utilizar o algoritmo k-means para selecionar variáveis mais relevantes.
E
usar o algoritmo supervisionado análise de cluster hierárquico (HCA) para prever valores ausentes, aplicar normalização z-score nos dados e calcular a importância das variáveis com uma rede neural profunda.
No decorrer do desenvolvimento de um sistema de suporte à decisão baseado em técnicas de aprendizado de máquina, a equipe de analistas de um tribunal identificou a necessidade de aplicar técnicas de pré-processamento aos dados disponíveis, que incluíam tanto registros tabulares quanto documentos em texto livre. Considerando as práticas de preparação de dados para algoritmos de IA/ML, o pré-processamento de dados estruturados e não estruturados consiste, respectivamente, em atividades como
A
implementação de redes neurais e classificação supervisionada.
B
compressão de arquivos e criptografia de registros.
C
normalização de variáveis e tokenização de textos.
D
execução de auditoria de sistemas e clusterização de bases.
E
autenticação de usuários e mineração de dados sensíveis.
Um pesquisador da área de Processamento de Linguagem Natural comparou duas abordagens de pré-processamento: uma usando apenas remoção de stop words e outra incluindo também stemming. Considerando seu objetivo e suas implicações, é correto afirmar que o stemming
A
aumenta a dimensionalidade do vocabulário, tornando o modelo mais especializado no corpus.
B
preserva a estrutura gramatical das sentenças, facilitando análises sintáticas.
C
reduz a variabilidade de palavras relacionadas, facilitando a identificação de padrões comuns.
D
garante que palavras estejam presentes no léxico oficial.
E
minimiza perdas semânticas ao normalizar formas flexionadas sem alterar o significado.
Bins de frequência são utilizados na discretização.
C
Certo
E
Errado
Ano:
2024
Prova:
FGV - EPE - Analista - Área: Ciências de Dados - 2024
Um pesquisador desenvolveu um estudo longitudinal para analisar o consumo de energia elétrica mensal de empresas do setor energético de determinada região, ao longo dos últimos 40 anos. Analisando a base de dados coletada, o pesquisador verificou que a base tinha vários dados faltantes e que necessitava utilizar alguma técnica de imputação de dados.
Assinale a opção que apresenta a técnica mais apropriada para o estudo do pesquisador.
A
A substituição por um valor de tendência central.
B
A predição por meio de um modelo de regressão linear simples.
C
O algoritmo EM.
D
O último valor observado.
E
O método de Monte Carlo.
A imputação por moda é uma técnica comumente utilizada no pré‑processamento de dados, para se lidar com valores ausentes.
C
Certo
E
Errado
O ciclo de vida de um processo de ciência de dados envolve uma série de etapas estruturadas que guiam o desenvolvimento de projetos de ciência de dados desde a definição do problema até a implementação e o monitoramento das soluções.
No ciclo de vida de um processo de ciência de dados, na fase de preparação de dados
A
são definidos os objetivos do projeto e formuladas as perguntas que o modelo deve responder.
B
o modelo é treinado e avaliado usando algoritmos de aprendizado de máquina.
C
são realizadas atividades como limpeza, transformação e formatação dos dados para garantir qualidade e adequação ao modelo.
D
os resultados são comunicados aos stakeholders por meio de visualizações e relatórios.
E
os dados são coletados diretamente dos usuários para garantir que o modelo esteja alinhado com as necessidades do público.
Gerar simulado