Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
O Processamento MapReduce é o paradigma fundamental para o processamento distribuído de...
O Processamento MapReduce é o paradigma fundamental para o processamento distribuído de Big Data em clusters.
Um cientista de dados usou essa técnica para processar milhões de logs de auditoria, em que a fase Map já emitiu pares chavevalor intermediários (ex: (UsuárioID, 1)).
De acordo com modelo MapReduce, assinale a opção que apresenta a função exata e sequencial da fase Shuffle & Sort que é crítica para preparar os dados para a posterior agregação na fase Reduce.
A
Coletar a saída intermediária dos Mappers, transportar, particionar e ordenar esses pares chave-valor, garantindo que todas as ocorrências de uma mesma chave sejam agrupadas e enviadas ao mesmo Reducer.
B
Coletar os dados brutos da fonte de dados distribuída e aplicar a função de filtragem inicial (Map) em cada nó de processamento.
C
Aplicar a função de agregação de redução (Reduce) nas chaves recebidas, calculando a soma final em uma única operação.
D
Persistir a saída final no HDFS e coordenar a distribuição de blocos entre os DataNodes do cluster
E
Realizar o split lógico dos arquivos de entrada em blocos menores e garantir a tolerância a falhas através da replicação automática.