Capítulo 2 — Governança de dados: a fronteira da pesquisa
Mapa da aula
Aula 02 publicada. Mapa, exemplo, EX008.
flowchart TD
N0["2.1 O estado da área"]
N1["2.2 Medindo um cadastro"]
N2["2.3 Regras são decisões"]
N3["2.4 Posicionando a contribuição"]
N4["Laboratório — Dimensões de qualidade de um cadastro"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX008"]
Desenho lógico
flowchart LR
N0["2.1 O estado da área"]
N1["2.2 Medindo um cadastro"]
N2["2.3 Regras são decisões"]
N3["2.4 Posicionando a contribuição"]
N4["Laboratório — Dimensões de qualidade de um cadastro"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX008"]
[2.1 O estado da área]
|
v
[2.2 Medindo um cadastro]
|
v
[2.3 Regras são decisões]
|
v
[2.4 Posicionando a contribuição]
|
v
[Laboratório — Dimensões de qualidade de um cadastro]
|
v
[Exemplo resolvido] --> [Exercício EX008]
Objetivos de aprendizagem
Você vai (1) revisar os debates atuais na pesquisa em governança de dados; (2) medir dimensões de qualidade de dados em um cadastro sintético; (3) identificar uma lacuna para um trabalho original.
2.1 O estado da área
Nadia revisa a literatura. Os primeiros trabalhos tratavam a qualidade de dados apenas como acurácia; Wang e Strong mostraram que os consumidores de dados também se importam com atualidade, relevância, acessibilidade e interpretabilidade. Batini e colegas compararam metodologias de avaliação e constataram que a maioria define dimensões, mede essas dimensões e propõe melhorias, mas diverge na escolha das dimensões e no peso atribuído a cada uma. A ISO 8000-8 estabelece conceitos e pré-requisitos para medir a qualidade da informação e dos dados. Nadia observa que os métodos de medição estão bem desenvolvidos, enquanto a pesquisa sobre quem decide as regras de qualidade é mais escassa.
2.2 Medindo um cadastro
Para ancorar a revisão, Nadia mede três dimensões em um cadastro sintético de 5.000 empresas. O laboratório informa completude de 0,798, validade de 0,937 e unicidade de 0,966. A completude é a mais baixa porque muitos registros não têm código de setor ou código postal. As falhas de validade vêm de códigos postais com letras e de um código de setor desconhecido. A unicidade fica abaixo de um porque alguns números de registro aparecem duas vezes. Cada número depende de uma regra escolhida por alguém, por exemplo se um setor em branco conta como ausente ou como valor legítimo. As regras pesam tanto quanto os dados.
2.3 Regras são decisões
Nadia mostra ao Prof. Eriksen como o índice de completude muda se setores em branco forem permitidos para empresas recém-registradas. O número sobe, embora nenhum registro tenha mudado. Ela argumenta que os índices de qualidade são, em parte, produtos da governança: refletem decisões sobre regras, limiares e exceções. É por isso que o DAMA-DMBOK2 situa a gestão da qualidade de dados dentro de um arcabouço de governança. O mapa de literatura de Nadia mostra poucos estudos empíricos que acompanham como essas decisões sobre regras são tomadas e como deslocam os números publicados — e essa é a lacuna que ela vai abordar.
2.4 Posicionando a contribuição
Nadia redige uma declaração de posicionamento: a pesquisa existente mede a qualidade e propõe estruturas de governança, mas raramente liga as duas coisas de forma quantitativa no contexto das estatísticas oficiais. Sua contribuição será um método que registra os direitos de decisão, aplica regras alternativas a uma réplica sintética e mede o efeito sobre os produtos publicados. O Prof. Eriksen a desafia a mostrar por que isso importa para além de Westmark. Ela responde que qualquer organização que publica indicadores a partir de dados administrativos enfrenta a mesma pergunta: quem decide o que conta como dado bom o suficiente. Westmark é o caso de teste.
Laboratório — Dimensões de qualidade de um cadastro empresarial sintético
"""Score completeness, validity and uniqueness of a synthetic business register (stdlib only)."""
import random, re
random.seed(3)
rows = []
for i in range(5000):
reg = f"BR{i:06d}"
if random.random() < 0.03: reg = f"BR{random.randint(0, i):06d}" # duplicate ids
post = f"{random.randint(1000, 9999)}" if random.random() > 0.08 else ""
if random.random() < 0.04: post = "ABCD" # invalid
sector = random.choice(["A", "C", "F", "G", "J", "M", ""]) if random.random() > 0.02 else "Z9"
rows.append((reg, post, sector))
n = len(rows)
complete = sum(1 for r in rows if r[1] and r[2]) / n
valid = sum(1 for r in rows if re.fullmatch(r"\d{4}", r[1] or "0000") and r[2] in {"A","C","F","G","J","M",""}) / n
unique = len({r[0] for r in rows}) / n
print(f"records {n}")
print(f"completeness {complete:.3f} validity {valid:.3f} uniqueness {unique:.3f}")
Execute com python3 lab_quality.py. Saída verificada:
records 5000
completeness 0.798 validity 0.937 uniqueness 0.966
Exemplo resolvido
Nadia revisa a literatura sobre qualidade, mede completude de 0,798, validade de 0,937 e unicidade de 0,966 em 5.000 registros sintéticos, mostra que a escolha de regras move os índices e posiciona sua contribuição.
Caso sintético. O cadastro é sintético; Wang e Strong (1996), Batini et al. (2009), ISO 8000-8:2015 e DAMA-DMBOK2 são reais.
Erros e limites
Os índices das dimensões dependem das definições das regras; publique as regras junto com os índices.
Exercícios
- EX008 — Além da acurácia. O que Wang e Strong acrescentaram à acurácia? Rubrica: 3 = atualidade, relevância, acessibilidade, interpretabilidade;; 2 = duas;; 1 = uma;; 0 = nenhuma.
- EX009 — Completude. Que índice de completude o laboratório informou? Rubrica: 3 = 0,798;; 2 = parcialmente correto;; 1 = errado;; 0 = nenhuma.
- EX010 — Causa do menor índice. Por que a completude é a mais baixa? Rubrica: 3 = faltam códigos de setor ou códigos postais;; 2 = menciona ausência;; 1 = vago;; 0 = nenhuma.
- EX011 — Causa da unicidade. Por que a unicidade fica abaixo de um? Rubrica: 3 = números de registro duplicados;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
- EX012 — Mudança de índice. Por que a completude subiu sem que nenhum registro mudasse? Rubrica: 3 = mudou a regra para setores em branco;; 2 = menciona regra;; 1 = vago;; 0 = nenhuma.
- EX013 — Papel da ISO 8000. O que a ISO 8000-8 oferece? Rubrica: 3 = conceitos e pré-requisitos para medir a qualidade de dados;; 2 = menciona medição;; 1 = vago;; 0 = nenhuma.
- EX014 — Lacuna de pesquisa. Que lacuna Nadia aborda? Rubrica: 3 = como decisões sobre regras são tomadas e deslocam números publicados;; 2 = menciona decisões;; 1 = vago;; 0 = nenhuma.
Continue estudando — aula 02 (capítulo 02 de 08)
← Capítulo 01 · Índice das aulas · Capítulo 03 →
Continue para a próxima aula já escrita.