Capítulo 17 — Noções de arquitetura de dados

Mapa da aula

Aula 17 publicada. Mapa, exemplo, EX049.

flowchart TD
  N0["17.1 Sistemas e fluxos"]
  N1["17.2 Data warehouses e data lakes"]
  N2["17.3 Linhagem"]
  N3["17.4 Arquitetura e governança"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX049"]

Desenho lógico

flowchart LR
  N0["17.1 Sistemas e fluxos"]
  N1["17.2 Data warehouses e data lakes"]
  N2["17.3 Linhagem"]
  N3["17.4 Arquitetura e governança"]
  N0 --> N1 --> N2 --> N3 --> Q["EX049"]

[17.1 Sistemas e fluxos]
    |
    v
[17.2 Data warehouses e data lakes]
    |
    v
[17.3 Linhagem]
    |
    v
[17.4 Arquitetura e governança]
    |
    v
[Exemplo resolvido] --> [Exercício EX049]

Objetivos de aprendizagem

Você vai (1) descrever como os dados fluem entre os sistemas; (2) explicar data warehouses e data lakes; (3) ligar a arquitetura à governança.

17.1 Sistemas e fluxos

Amara mapeia a arquitetura da Harbourline: caixas, um sistema das lojas, fidelidade, produtos, financeiro, estoque e um data warehouse de relatórios. Toda noite os dados fluem dos sistemas operacionais para o data warehouse, onde os relatórios são construídos. Alguns fluxos são automatizados; outros dependem de funcionários exportando arquivos. Ela observa que as exportações manuais são os pontos onde os dados mais se perdem ou chegam atrasados, e as marca no mapa como candidatas à automação ou, pelo menos, a verificações de completude. O mapa é revisado com a TI, que confirma mais duas exportações manuais que ela não tinha visto.

17.2 Data warehouses e data lakes

Um data warehouse guarda dados limpos e estruturados, organizados para relatórios. Um data lake guarda dados brutos em muitos formatos para análise posterior. A Harbourline tem um data warehouse e estuda criar um data lake para os dados de cliques do site. Amara explica que data lakes sem governança viram pântanos: ninguém sabe o que os arquivos contêm nem se é possível confiar neles. Ela recomenda que qualquer data lake tenha entradas de catálogo, donos e regras de retenção desde o primeiro dia. O projeto do data lake aceita essas condições antes que qualquer dado de cliques seja carregado nele.

17.3 Linhagem

A linhagem descreve de onde os dados vêm e como se transformam. Amara rastreia o número semanal de vendas do conselho de volta, pelo data warehouse, até os caixas e o sistema das lojas. Ela encontra uma transformação que exclui as devoluções e que ninguém havia documentado. O financeiro supunha que as devoluções estavam incluídas. Ela registra a linhagem na entrada de catálogo do número. Ela explica que a linhagem ajuda as pessoas a confiar nos números e a encontrar a causa quando eles parecem errados. O financeiro e a equipe de relatórios concordam em identificar claramente, dali em diante, que o número exclui as devoluções.

17.4 Arquitetura e governança

Amara observa que as escolhas de arquitetura afetam a governança. Data warehouses centrais facilitam definições consistentes, mas podem tornar as equipes mais lentas. Abordagens distribuídas dão liberdade às equipes, mas dificultam a consistência. A Harbourline é pequena o bastante para um data warehouse central com donos claros. O Dr. Lindqvist explica que uma boa arquitetura torna fácil fazer a coisa certa, como aplicar classificações automaticamente, enquanto uma arquitetura ruim obriga as pessoas a lembrar de regras que os sistemas poderiam impor por elas. Amara recomenda a classificação automática no data warehouse como a primeira melhoria de arquitetura da Harbourline voltada à governança.

Exemplo resolvido

Amara mapeia os sistemas e sinaliza as exportações manuais, adverte que data lakes sem governança viram pântanos, encontra pela linhagem uma exclusão de devoluções não documentada e liga as escolhas de arquitetura à governança.

Caso sintético. A arquitetura é sintética.

Erros e limites

Data lakes sem catálogo e sem donos se tornam inutilizáveis.

Exercícios

• EX049 — Fluxos frágeis. Onde os dados mais se perdem?
  Mostrar critérios de avaliação

  Rubrica: 3 = nas exportações manuais;; 2 = parcialmente correto;; 1 = outro;; 0 = nenhuma.
• EX050 — Constatação sobre devoluções. O que a linhagem revelou?
  Mostrar critérios de avaliação

  Rubrica: 3 = uma exclusão de devoluções não documentada;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
• EX051 — Recomendação para o data lake. O que qualquer data lake deve ter desde o primeiro dia?
  Mostrar critérios de avaliação

  Rubrica: 3 = entradas de catálogo, donos e regras de retenção;; 2 = todos;; 1 = alguns;; 0 = nenhuma.