

Seu próximo nível começa aqui
Seu desenvolvimento não pode ter limites. Garanta sua Assinatura Ilimitada e libere uma preparação completa com os melhores professores do Brasil.
Com relação à ingestão de dados via filas de mensagens em pipelines de dados, considere o cenário a seguir. Um pipeline consome eventos de uma fila de mensagens que pode entregar mensagens fora de ordem e com política de entrega “pelo menos uma vez”, o que pode ocasionar o recebimento do mesmo evento mais de uma vez. Nesse contexto, a medida mais adequada para evitar efeitos duplicados no processamento é
assumir uma entrega do tipo FIFO.
descartar mensagens que não sejam confirmadas no primeiro recebimento.
projetar o processamento do consumidor de forma idempotente.
aumentar o número de consumidores.
aplicar uma janela para reordenar eventos por timestamp antes do processamento.