Questões de Concurso sobre O ecossistema do Hadoop

Um Analista de Sistemas, que atua em uma agência de fomento vinculada ao setor governamental, está trabalhando com o Hadoop para processar e analisar grandes volumes de dados armazenados no HDFS (Hadoop Distributed File System). Ele precisa consultar esses dados de forma rápida e eficiente, utilizando uma linguagem semelhante ao SQL (Structured Query Language) para extrair informações agregadas e gerar relatórios. Considerando esse contexto, assinale a alternativa que apresenta duas ferramentas do Hadoop capazes de consultar grandes volumes de dados no HDFS, usando uma linguagem semelhante ao SQL (HiveQL/SQL):

Para lidar com o grande volume e a complexidade dos dados do Big Data, foram desenvolvidas tecnologias e frameworks específicos, que superam as limitações dos sistemas de bancos de dados tradicionais. Um analista de dados de um órgão de pesquisa precisa processar um grande conjunto de dados não estruturados.

Analise as seguintes proposições sobre as tecnologias de Big Data:

I. O Hadoop é um framework de código aberto que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. Seus componentes principais são o HDFS (Hadoop Distributed File System), para armazenamento distribuído, e o MapReduce, para o processamento paralelo.

II. O MapReduce é um modelo de programação onde a tarefa é dividida em duas fases: a fase 'Map', que processa e mapeia os dados de entrada em pares de chave-valor, e a fase 'Reduce', que agrega os resultados intermediários da fase 'Map' para produzir o resultado final.

III. O Spark é outro framework de processamento distribuído que, embora compatível com o ecossistema Hadoop, é conhecido por ser significativamente mais rápido, pois realiza o processamento em memória (in-memory), sendo ideal para aplicações de aprendizado de máquina e processamento de dados em tempo real.

Está correto o que se afirma em:

Considere um ambiente fazendário com petabytes de documentos fiscais em cluster, exigindo armazenamento distribuído tolerante a falhas e também execução de análises iterativas com menor leitura repetida em disco. Nesse cenário, a combinação de sistema/framework que atende corretamente às necessidades é

MapReduce é um modelo de programação utilizado no processamento de grandes volumes de dados. Seu sucesso é decorrente do uso facilitado para processar dados de forma distribuída. Em seu uso, o usuário precisa especificar uma função de Map para gerar os pares de chave/valor. Além disso, torna-se necessário definir a função de Reduce para juntar os valores intermediários processados associados a uma mesma chave. Qual das seguintes ferramentas implementa esse modelo de programação?

O Apache Hadoop YARN (Yet Another Resource Negotiator) elevou o gerenciamento de recursos e agendamento de tarefas em clusters Hadoop a um novo patamar com sua arquitetura mais flexível e eficiente. Qual dos seguintes benefícios é proporcionado pelo YARN em comparação ao modelo original do Hadoop?

O Hadoop Distributed File System (HDFS) usa uma tabela para rastrear os clusters em um volume de armazenamento; esses clusters se conectam por meio de diretórios e arquivos associados e o HDFS suporta arquivos com tamanhos de volume de até 4 GB.

Os sistemas de Data Warehouse são tradicionalmente suportados por modelos multidimensionais predefinidos, tendo o intuito de prover suporte a aplicações de Business Intelligence. A resposta às novas necessidades é a utilização de memória extensiva, distribuição de dados e paralelização de processamento, que, de uma forma ou de outra, estão incluídos no Apache Hadoop, Apache Spark, bases de dados NoSQL e tecnologias complementares a estas.

Uma característica importante do Apache Spark é

O YARN (Yet Another Resource Negotiator) é um sistema de arquivos distribuídos que faz parte do framework Hadoop.

O modelo de programação MapReduce é essencial no ecossistema Hadoop para processamento paralelo e distribuído de grandes volumes de dados. Qual é a principal função do componente "Reduce" no modelo MapReduce?

O Apache Hadoop é um framework que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores usando simples modelos de programação. Um de seus componentes principais é o Hadoop Distributed File System (HDFS). Qual é a principal característica do HDFS que o torna particularmente adequado para o processamento de Big Data?