Um tribunal precisa integrar dados de 5 sistemas legados em...

Um tribunal precisa integrar dados de 5 sistemas legados em um Data Lake centralizado para suportar analytics e IA. Os sistemas fonte incluem:

• Sistema Processual (Oracle, 500 GB, 50 milhões de processos) — dados históricos + novas inserções diárias

• Sistema de Audiências (PostgreSQL, 100 GB) — atualizações em tempo real de status

• Sistema de Documentos (MongoDB, 2 TB de PDFs e metadados) — inserções contínuas

• Sistema de RH (SQL Server, 10 GB) — mudanças mensais

• Log de Acessos (arquivos JSON, 50 GB/dia) — streaming contínuo

O Data Lake será implementado em AWS S3 com processamento via Apache Spark e orquestração via Apache Airflow. Os dados incluem informações pessoais sujeitas à LGPD.

Pede-se:

a) Para o Sistema Processual (Oracle, 500 GB), escolha entre as abordagens ETL e ELT, indicando a principal vantagem e a principal desvantagem, justificando sua escolha com base em volume de dados, capacidade de transformação e custo computacional.

b) Para cada um dos sistemas fonte listados abaixo, indique se o processamento deve ser Batch ou Streaming, justificando sua resposta.

i. Sistema de Audiências

ii. Sistema de RH

iii. Log de Acessos

c) Para o Sistema Processual (Oracle), escolha a estratégia de CDC mais apropriada entre Timestamp-based, Log-based (Oracle GoldenGate), ou Trigger-based. Justifique sua resposta considerando impacto no banco de origem e latência.

d) Para cada uma das métricas listadas abaixo, indique se são ou não apropriadas para monitorar o pipeline de ingestão do sistema processual.

i. Tempo de execução do pipeline (SLA)

ii. Taxa de erros/falhas por execução

iii. Número de registros processados vs. esperados (data quality)

iv. Temperatura da CPU do servidor de origem

e) O pipeline ingere CPF e nome de partes dos processos para o Data Lake. Identifique apenas uma violação à LGPD se esses dados forem armazenados em formato bruto (raw layer) sem controles e proponha somente uma solução técnica.

Valor: 20 pontos

Máximo de 30 linhas.