Capítulo 6 — Python para verificação de dados

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX016.

flowchart TD
  N0["6.1 Lendo arquivos"]
  N1["6.2 Escrevendo verificações"]
  N2["6.3 Relatando os resultados"]
  N3["6.4 Trabalho repetível"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX016"]

Desenho lógico

flowchart LR
  N0["6.1 Lendo arquivos"]
  N1["6.2 Escrevendo verificações"]
  N2["6.3 Relatando os resultados"]
  N3["6.4 Trabalho repetível"]
  N0 --> N1 --> N2 --> N3 --> Q["EX016"]

[6.1 Lendo arquivos]
    |
    v
[6.2 Escrevendo verificações]
    |
    v
[6.3 Relatando os resultados]
    |
    v
[6.4 Trabalho repetível]
    |
    v
[Exemplo resolvido] --> [Exercício EX016]

Objetivos de aprendizagem

Você vai (1) ler arquivos de dados com Python; (2) escrever verificações simples; (3) relatar os resultados com clareza.

6.1 Lendo arquivos

Amara aprende a ler arquivos separados por vírgula com o módulo csv do Python. Ela abre uma extração sintética de adesões ao programa de fidelidade, lê cada linha como um dicionário indexado pelos nomes das colunas e conta as linhas. Ela aprende a especificar a codificação do arquivo, porque os nomes com acentos apareceram embaralhados quando ela não o fez. Ela observa que ler os dados corretamente é a primeira verificação: se o arquivo for lido errado, todos os resultados seguintes estarão errados, por mais cuidadosa que a análise pareça. Ela passa a declarar a codificação em todo script que escreve depois disso.

6.2 Escrevendo verificações

Ela escreve funções que testam uma regra cada: CEP presente, e-mail contendo uma arroba, ano de nascimento entre 1910 e 2010. Cada função devolve verdadeiro ou falso para uma linha. Um laço aplica todas as funções e conta as falhas por regra. Ela mantém as verificações pequenas e com nomes claros, para que um leitor veja exatamente o que cada uma testa. O Dr. Lindqvist explica que verificações simples e legíveis são mais fáceis de confiar e de manter do que verificações engenhosas. Cada função tem um comentário de uma linha que descreve a regra que implementa e sua origem.

6.3 Relatando os resultados

O primeiro relatório de Amara lista as falhas como contagens brutas. O tutor pergunta o que as contagens significam sem os totais, então ela acrescenta as porcentagens e o número de linhas verificadas. Ela também lista alguns exemplos de linhas com falha, sem os dados pessoais, para que os leitores vejam como os problemas se parecem. Ela aprende que um bom relatório responde o que foi verificado, quanto falhou, por que isso importa e o que deve acontecer em seguida, nessa ordem. Ela usa essa ordem em todos os relatórios seguintes, e o tutor registra a melhora na nota.

6.4 Trabalho repetível

Amara salva o script com comentários e a data da extração usada. Quando o tutor lhe pede para executá-lo de novo sobre uma extração mais recente, leva segundos. Um colega que verificou os dados à mão em uma planilha precisa repetir horas de trabalho. Ela percebe que os scripts tornam as verificações repetíveis e sua lógica visível, o que importa para a governança, porque as verificações devem ser executadas com regularidade e revisadas por outras pessoas, e não feitas uma vez e esquecidas. Mais tarde, o script é compartilhado com a equipe de dados da Harbourline, que o adota.

Exemplo resolvido

Amara lê uma extração de adesões com a codificação certa, escreve verificações pequenas e bem nomeadas, relata contagens com porcentagens e exemplos e executa de novo o script sobre uma nova extração em segundos.

Caso sintético. As extrações são sintéticas.

Erros e limites

Relatar contagens sem totais esconde a escala dos problemas.

Exercícios

• EX016 — Problema de codificação. O que aconteceu sem a codificação especificada?
  Mostrar critérios de avaliação

  Rubrica: 3 = os nomes com acentos ficaram embaralhados;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
• EX017 — Regra do ano de nascimento. Que intervalo a verificação do ano de nascimento usou?
  Mostrar critérios de avaliação

  Rubrica: 3 = de 1910 a 2010;; 2 = parcialmente correto;; 1 = errado;; 0 = nenhuma.
• EX018 — Ordem do relatório. Que ordem um relatório deve seguir?
  Mostrar critérios de avaliação

  Rubrica: 3 = o que foi verificado, quanto falhou, por que importa, o que vem a seguir;; 2 = parcialmente correto;; 1 = parcial;; 0 = nenhuma.