Questões de Concurso sobre Big Data

Considerando os conceitos principais de ciência de dados, analise as afirmativas a seguir e assinale (V) para a verdadeira e (F) para a falsa.

( ) Em um sistema BigData, o pipeline de dados implementa as etapas necessárias para mover dados de sistemas de origem, transformar esses dados com base nos requisitos e armazenar os dados em um sistema de destino, incluindo todos os processos necessários para transformar dados brutos em dados preparados que os usuários podem consumir.

( ) Dentre os métodos de manipulação de valores ausentes, em processamento massivo e paralelo, consta a normalização numérica, que se refere ao processo de ajustar os dados para que estejam em uma escala comparável, geralmente entre 0 e 1.

( ) A demanda crescente por medidas de criptografia ponta a ponta (da produção ao backup) tornam menos eficazes e relevantes tecnologias legadas, como a deduplicação de dados (data deduplication), que busca ajudar a otimizar o armazenamento e melhorar o desempenho de um sistema ao estabelecer processo de identificar e eliminar dados duplicados em um sistema.

As afirmativas são, respectivamente,

Os "Vs" do Big Data representam dimensões que destacam os principais desafios e oportunidades no gerenciamento de grandes volumes de dados. Inicialmente, eram definidos por três "Vs", mas com o tempo, novas dimensões foram incorporadas. Assinale a alternativa que apresenta os três "Vs" originais.

Big Data se refere a conjuntos de dados extremamente grandes e complexos que crescem exponencialmente. Essa massa de informações, muitas vezes estruturadas e não estruturadas, exige ferramentas e técnicas específicas para serem armazenadas, processadas e analisadas. A análise de Big Data permite identificar padrões, tendências e insights valiosos que podem impulsionar a tomada de decisões em diversas áreas, como negócios, ciência e governo. Assinale a alternativa que apresenta um dos principais objetivos do uso de big data nas empresas.

O conceito de Big Data vem sendo constantemente discutido por diversas áreas de estudo, por conta de seu grande avanço ao longo dos anos. Assinale a alternativa correta quanto à principal característica que torna o Big Data desafiador para armazenamento e análise.

Variedade, uma das métricas de big data, é caracterizada por armazenar e processar uma quantidade de dados muito maior do que os bancos de dados tradicionais foram projetados para suportar, incluindo os bancos de dados relacionais paralelos.

Entre as quatro análises possíveis no Big Data, a análise diagnóstica tem como foco recomendar ações específicas a serem tomadas, e seus resultados podem ser usados para melhorar a eficiência, a eficácia e a produtividade das empresas.

A atomicidade é um dos recursos da propriedade de variedade do big data, e garante que todas as alterações sejam efetivadas no banco de dados, sem permitir atualização parcial.

A coleta de dados por meio de aplicativos é considerada explícita, porque o usuário a autoriza.

Em um servidor utilizando a plataforma de aplicação Apache Kafka, a instalação levou em conta a combinação de suas features com a tecnologia de código aberto do Druid (que trabalha com consulta de dados em lote e oferece mecanismos otimizados para consultas de longa duração), permitindo tomadas de decisões em tempo real.

Com essa configuração específica, o Apache Kafka assume perfil condizente com

No armazenamento de dados em Big Data, valor é o critério que observa a integração de informações coletadas em diferentes fontes, com vistas a enriquecer as análises.

Em uma cidade inteligente, diversos dispositivos conectados, como sensores de trânsito, câmeras de segurança e medidores de energia, trocam informações entre si para otimizar o uso de recursos e melhorar a qualidade de vida dos cidadãos.

Esse conceito é conhecido como

O Big Data é um conceito recente, sendo normalmente definido por um conjunto de termos, definidos como 5 “V”s. Relacione os termos a seguir com suas respectivas representações.

1. Volume.

2. Variedade.

3. Veracidade.

4. Velocidade.

( ) É um termo cunhado pela IBM que está sendo usado como o quarto “V” para descrever Big Data. Refere-se à conformidade com os fatos: precisão, qualidade ou

confiabilidade dos dados. Ferramentas e técnicas são frequentemente usadas para lidar com Big Data, transformando os dados em insights de qualidade e confiáveis.

( ) Significa a celeridade com que os dados estão sendo produzidos e com que presteza os dados devem ser processados (ou seja, capturados, armazenados e analisados) para atender a necessidade ou demanda. Talvez seja a característica mais negligenciada do Big Data.

( ) É a característica mais comum do Big Data. Muitos fatores contribuíram ao aumento exponencial na quantidade de dados, como dados baseados em transações armazenados ao longo dos anos, os dados das mídias sociais, aumentando a quantidade de dados de sensores, dados RFID e GPS gerados automaticamente e assim por diante.

( ) Atualmente os dados hoje possuem diversos e tipos e formatos, desde bancos de dados relacionais aos XML e dados capturados por sensores, vídeo, áudio. Segundo estimativas, 80 a 85 por cento de todos os dados das organizações estão em algum tipo de formato não estruturado ou semiestruturado.

A relação correta, na ordem dada, é

O Ecossistema Spark tem componentes que oferecem funcionalidades específicas que o tornam uma ferramenta versátil e eficiente para o processamento de grandes volumes de dados, a análise em tempo real, o aprendizado de máquina e muito mais. Essa integração e flexibilidade são algumas das razões pelas quais o Spark se tornou uma ferramenta amplamente utilizada em aplicações de Big Data. Os componentes da Plataforma Spark pertencem a dois grupos principais: os componentes básicos e os componentes especializados, que provêm funcionalidades mais avançadas. Dentre os componentes básicos, podemos destacar o Spark Core, também conhecido como “coração” do Ecossistema, e que é responsável pelas tarefas consideradas essenciais.

O componente Spark Core

Volume, variedade, velocidade, valor, veracidade, variabilidade e visualização são conceitos abrangidos na definição de Big Data.

O Data Lake é uma plataforma que mantém uma estrutura de dados rigidamente definida e pré‑modelada.

Para lidar com as necessidades de gerenciamento de dados de Big Data, podem ser usados sistemas para armazenamento de chave-valor, mesmo sendo comum que esses sistemas tenham recursos de consulta limitados e não aceitem o uso da SQL.

Data Lake é um repositório utilizado para armazenar grandes volumes de dados em formatos variados, incluindo dados brutos não processados, bem como dados semiestruturados e estruturados.

O termo Big Data se refere apenas ao grande volume de dados que uma organização coleta, enquanto analytics é o processo de analisar esses dados para obter insights.

No que se refere a Big Data, assinale a alternativa correta.

Maria, analista de mercado da CVM, precisa analisar milhares de negociações financeiras para obter insights e tomar decisões ao longo do dia. Maria apresentou a demanda para Tiago, o arquiteto de big data da CVM.

Para processar as negociações financeiras como uma sequência de eventos no tempo, agrupando e filtrando os dados à medida que são capturados, o componente da arquitetura de big data que Tiago deve desenvolver é o: