Questões de Concurso sobre MapReduce

Um Auditor de Controle Externo precisa processar grandes volumes de dados de georreferenciação de obras públicas em Santa Catarina. Para otimizar o tempo, ele utiliza o paradigma MapReduce.

Na fase de MAP desse paradigma, a ação principal executada nos blocos de dados distribuídos é

A análise de grandes volumes de dados provenientes, por exemplo, de câmeras, sensores, ocorrências, registros administrativos e redes sociais exige uma infraestrutura capaz de processar informações de forma rápida e distribuída. Nesse cenário, o MapReduce e Hadoop desempenham papel estratégico. Eles permitem que órgãos municipais transformem dados brutos em inteligência operacional, apoiando decisões em tempo real e o planejamento preventivo das ações de segurança.

Em relação à abordagem desses conceitos, assinale a opção correta.

A tecnologia para análise de Big Data e processamento de dados conhecida como Hadoop é uma implementação em código aberto do modelo de programação:

MapReduce é uma técnica de processamento de dados massivos que divide as operações em duas fases, map e reduce, e utiliza o processamento paralelo para executar cada fase de forma independente em diferentes nós de um cluster.

O Processamento MapReduce é o paradigma fundamental para o processamento distribuído de Big Data em clusters.

Um cientista de dados usou essa técnica para processar milhões de logs de auditoria, em que a fase Map já emitiu pares chavevalor intermediários (ex: (UsuárioID, 1)).

De acordo com modelo MapReduce, assinale a opção que apresenta a função exata e sequencial da fase Shuffle & Sort que é crítica para preparar os dados para a posterior agregação na fase Reduce.

Acerca da arquitetura de sistemas analíticos e do ecossistema Apache Hadoop, julgue os próximos itens.

O MapReduce, um dos componentes principais do Hadoop, foi projetado para atender a demandas analíticas de alta frequência e baixa latência.

Mapas de contorno são utilizados para representar a distribuição de dados contínuos, como a variação da produtividade agrícola, conectando pontos de mesmo valor por meio de linhas que delimitam regiões de igual intensidade.

MapReduce é particularmente eficiente para tarefas de baixa latência e processamento em tempo real, sendo amplamente utilizado para atender a essas necessidades.

O processamento MapReduce consiste na aplicação de um algoritmo de computação distribuída para processar grandes conjuntos de dados em um cluster de computadores, dividindo cálculos complexos em tarefas menores e que podem ser executadas em paralelo. O MapReduce é implementado em etapas. Em uma dessas etapas, os dados de entrada divididos em partes são transformados em conjuntos de pares chave-valor (i.e., key-value pairs) adequados para o processamento paralelo e distribuído.

A essa etapa do MapReduce dá-se o nome de

Um exemplo da aplicação do MapReduce bem conhecido é a contagem de palavras num arquivo de texto. A partir de um arquivo com linhas de texto, a tarefa é produzir a lista de palavras acompanhadas com a frequência que aparecem no texto.

A sequência mais adequada de aplicação das fases para essa tarefa, além das fases de entrada e saída, é:

Analise o trecho a seguir:

É um padrão de transformação de dados em lote que foi introduzido como uma alternativa para lidar com grandes volumes de dados. Consiste em tarefas de mapa que leem blocos de dados individuais espalhados pelos nós, seguidas por uma etapa de shuffle que redistribui os dados de resultado e uma etapa de redução que agrega os dados em cada nó. Seu paradigma foi construído em torno da ideia de que a capacidade e largura de banda do disco magnético eram tão baratas que fazia sentido simplesmente usar uma enorme quantidade de disco para realizar consultas ultrarrápidas.

A tecnologia em questão é:

Nas últimas décadas, a automatização e a inserção de máquinas agrícolas transformaram profundamente o panorama do trabalho nas áreas rurais [...] e, em menos de 50 anos, a produtividade do agronegócio brasileiro aumentou 400%. [...]

Esses resultados vieram com a adoção da tecnologia nos processos cotidianos, e também com o investimento em pesquisas [...]. Agora, o agronegócio pode estar diante de um novo salto de produtividade; big data e machine learning são ferramentas que estão ganhando espaço e que podem, novamente, transformar o cenário do campo.

Disponível em: https://summitagro.estadao.com.br/tendencias-e-tecnologia/como-big-data-e-machine-learning-sao-aplicados-no-agronegocio/. Acesso em: 5 jan. 2024. Adaptado.

A utilização da plataforma paralela de processamento MapReduce aplica-se adequadamente como um framework de processamento de Big Data, visando à escalabilidade para as aplicações.

Nesse contexto, uma característica inerente à MapReduce é a

No Hive do Apache Hadoop, as consultas são escritas em SQL; para tal, é necessário o conhecimento do MapReduce.

Dados são importantes elementos de apoio à tomada de decisão, sendo que algumas aplicações geram quantidade massiva e heterogênea de dados, com alta velocidade.

Para lidar com esse cenário, foi desenvolvido o seguinte modelo de programação que consiste em dividir, processar e combinar os dados em paralelo, de forma a acelerar o processamento e garantir a confiabilidade dos resultados:

MapReduce é um framework de processamento paralelo para clusters inspirado em programação funcional, que teve seu artigo seminal publicado em 2004 no artigo : “MapReduce: Simplified Data Processing on Large Clusters”.

Com relação à tecnologia MapReduce, assinale V para a afirmativa verdadeira e F para a falsa.

( ) A ideia principal do MapReduce é dividir e processar tarefas e depois juntar as informações, o que permite dividir um grande problema em vários pedaços e distribuí-los em diversos computadores.

( ) Os principais passos correspondem a: (i) Input split, onde a entrada é dividida em várias partes, onde cada parte será consumida por um Map; (ii) Map, onde é criada uma lista de pares chave-valor; (iii) Shuffling , onde se classifica e agrupa a saída da etapa anterior para servir de entrada para a seguinte; (iv) Reduce, onde se processa a saída da etapa anterior e se agregam as informações; (v) Output, quando as informações são retornadas.

( ) As principais características do MapReduce se referem a esconder os detalhes do processamento em série, tolerância a falhas, otimização de localidade e balanceamento de memória, que resultam em modelo fácil de usar, mesmo para programadores sem experiência com sistemas paralelos e distribuídos.

As afirmativas são, respectivamente,

As regiões são a unidade básica de trabalho no HBase, que é usada como divisão pela estrutura de redução do mapa; a região contém objetos de armazenamento que correspondem a famílias de colunas.

Mediante a quantidade de dados gerados pela Defensoria Pública do Estado de Mato Grosso do Sul, o engenheiro da computação optou por utilizar uma técnica para distribuir o processamento de vastíssimos arquivos de dados multiestruturados ao longo de grandes clusters de máquinas. Essa técnica é denominada

Apache Hadoop é o principal framework utilizado no processamento e armazenamento de grandes conjuntos de dados (Big Data). No ecossistema Apache Hadoop, além dos componentes básicos, diversas ferramentas e serviços suprem necessidades de negócios, aplicações e arquitetura de dados. O sistema de agendamento de WorkFlow para gerenciar os jobs de computação distribuída do MapReduce é o:

MapReduce é uma ferramenta de uso restrito a frameworks de Big Data, como o Hadoop, e deve ser aplicado exclusivamente no tratamento de dados estruturados, sendo ineficiente para processar dados não estruturados.

A consultora Fernanda encontrou o método Java a seguir em um código de terceiros.

Como Fernanda conhece muito bem as operações de map e reduce do Java, ela logo descobriu que w representa: