Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
Um pipeline de dados do TCE-SC processa bilhões de registros de notas fiscais usando Sp...
1
Q4516228
Teclas de Atalhos
Compartilhar
Um pipeline de dados do TCE-SC processa bilhões de registros de notas fiscais usando Spark SQL. O Auditor nota um problema de desbalanceamento de dados no qual um único executor demora muito mais que os outros para completar uma operação de Join, pois uma chave específica possui muito mais registros que as demais.
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores:
A
Broadcast Hash Join.
B
Adaptive Query Execution com Skew Join Optimization.
C
Predicate Pushdown.
D
Bucketing com 1024 partições fixas.
E
Cache In-Memory em nível de cluster.