Um tribunal desenvolveu um modelo de Machine Learning para...

Um tribunal desenvolveu um modelo de Machine Learning para classificar processos em três categorias de risco de recurso protelatório: baixo, médio e alto.

O dataset contém 100.000 processos históricos com a seguinte distribuição:

• Baixo risco: 85.000 processos (85%)

• Médio risco: 12.000 processos (12%)

• Alto risco: 3.000 processos (3%)

O modelo Random Forest treinado apresentou os seguintes resultados no conjunto de teste:

Acurácia global: 0.92

Adicionalmente, o modelo precisa ser explicável para magistrados e está sujeito à LGPD, pois utiliza dados pessoais das partes nos processos.

Pede-se:

a) Em relação aos resultados apresentados no conjunto de teste pelo modelo Random Forest treinado:

a.1) Explique por que a acurácia de 0.92 NÃO é uma métrica adequada para avaliar esse modelo considerando a distribuição das classes e indique qual métrica é mais apropriada.

a.2) Identifique o principal problema de performance do modelo analisando a tabela de resultados e explique qual classe está sendo mais prejudicada.

b) Para cada uma das técnicas listadas abaixo, indique se é ou não apropriada para esse cenário, justificando sua resposta.

i. SMOTE

ii. Undersampling da classe majoritária

iii. Class weights no algoritmo

c) Para cada uma das situações listadas abaixo, indique qual técnica de XAI é mais adequada: SHAP, LIME, Feature Importance ou Regras Extraídas.

i. Magistrado quer entender por que um processo específico foi classificado como alto risco.

ii. Auditoria precisa verificar quais features o modelo considera mais importantes globalmente.

iii. Compliance exige explicação simples e interpretável de como o modelo toma decisões.

d) O modelo utiliza as seguintes features: cpf_autor, nome_autor, valor_causa, tempo_tramitacao, tipo_processo, numero_recursos_anteriores. Identifique duas violações à LGPD e proponha solução técnica para cada uma.

Valor: 20 pontos

Máximo de 30 linhas.