Como gerar conexões de dados perspicazes

Este artigo foi escrito por Aiden Liu , um estudante de ciência da computação na Universidade de Columbia, Basil J. White , um analista de política para uma agência federal de gabinete dos EUA, e Beth A. Martin , um instrutor adjunto e praticante de experiência do usuário (UX).

• O problema: os bancos de dados relacionais exigem que os analistas gerem conexões manualmente entre os pontos de dados e os dados extras não podem ser adicionados posteriormente.

• Por que é importante: fazer conexões manuais ao trabalhar com bancos de dados relacionais leva tempo - o que pode ser muito ineficiente ao trabalhar com volumes de dados.

• A solução: os bancos de dados gráficos produzem conexões de dados automaticamente, permitem que dados extras sejam adicionados posteriormente e podem melhorar significativamente a eficiência.

Aproveite ao máximo suas planilhas

Você tem uma planilha ineficiente que armazena todas as informações de seus clientes? Imagine que você possa criar uma tabela de dados do cliente que armazene o nome, ID e endereço da empresa de cada cliente. Imagine que você também tenha uma tabela de dados de transações que armazena a ID de cada cliente e as transações anteriores. Como as duas tabelas contêm o ID do cliente, poderíamos vincular as duas tabelas com base neste item comum [Figura 1].

Figura 1: Tabela de dados do cliente e tabela de dados da transação

Crie um banco de dados relacional

Este cenário ilustra como um banco de dados relacional que organiza dados em tabelas (tabelas de dados de transações e clientes) os vincula com base em um elemento de dados comum (ID do cliente). Os bancos de dados relacionais são uma prática padrão na organização de dados hoje - sete dos dez bancos de dados mais populares em 2021 são bancos de dados relacionais . Em um banco de dados relacional, você pode fazer operações simples, como pesquisar um cliente específico, até operações mais complexas, como juntar tabelas pelos dados comuns, conforme descrito acima. Bancos de dados relacionais, entretanto, têm seus limites: \ (1) Eles não identificam e geram conexões de dados através de tabelas de dados automaticamente. Em vez disso, você deve unir manualmente duas tabelas para encontrar conexões de dados.

(2) Uma vez que os bancos de dados relacionais são construídos, você não pode adicionar novos atributos aos dados. Do nosso exemplo acima, você não pode adicionar novos dados (ou um 'atributo'), como o cargo do cliente.

Veja a hierarquia visual

Uma alternativa para um banco de dados relacional é um banco de dados hierárquico. Ao contrário dos bancos de dados relacionais, que organizam os dados em tabelas com linhas e colunas, os bancos de dados gráficos organizam os dados em uma taxonomia semelhante a uma árvore genealógica. Cada ponto de dados é representado como um nó (ou uma folha de árvore) em vez de uma linha na tabela, e eles são automaticamente conectados entre si por uma aresta (ou um galho de árvore) com base em itens comuns [Figura 2]. Quanto mais dados você adicionar ao banco de dados de gráficos, mais nós e arestas serão gerados. Vamos usar os dados do cliente mencionados acima novamente para entender como um banco de dados gráfico funciona. O nome de cada cliente se torna um nó; seu ID, endereço da empresa ou quaisquer atributos adicionados posteriormente são representados como nós que são conectados automaticamente por arestas.

Figura 2: Nós (pontos de dados) que são conectados por arestas em um banco de dados de gráficos

Aproveite os novos insights

Por causa da geração automática de conexões entre os dados, você pode usar bancos de dados gráficos para identificar conexões anteriormente desconhecidas. Vamos considerar um exemplo em que analistas usam dados para alocar fundos de alívio COVID-19 aos candidatos. Tradicionalmente, com bancos de dados relacionais, os analistas precisam coletar dados de diferentes departamentos governamentais, uma vez que as informações pessoais do requerente podem aparecer em várias tabelas de dados, como tabelas de dados sobre emprego, habitação e resumos de contas bancárias [Figura 3]. Os analistas pesquisariam cada banco de dados manualmente para identificar pontos de dados relacionados ao requerente. Por exemplo, o candidato já recebeu fundos de outras fontes antes? O requerente estava coberto por algum seguro médico?

Figura 3: Pesquisa em bancos de dados relacionais sobre as informações de um requerente de fundos de alívio COVID-19

Após o exame manual desses pontos de dados, os analistas precisam integrá-los para ver se eles estão conectados de alguma forma para determinar as qualificações e necessidades específicas do candidato. O verdadeiro trabalho é muito mais do que a ilustração acima. Os bancos de dados relacionais não identificam conexões de dados; com bancos de dados gráficos, no entanto, você só precisa fazer upload de todos os dados e deixar que os bancos de dados façam todo o trabalho árduo para visualizar as conexões de dados. O gráfico final pode ser semelhante à [Figura 4].

Figura 4: Pesquisa em bancos de dados de gráficos sobre as informações de um solicitante de fundos de alívio COVID-19

Com este banco de dados de gráficos, os analistas podem facilmente dizer que o requerente X está qualificado para os fundos de alívio COVID-19 com base nos dados conectados.

Nossa principal lição

Para analistas que lidam com milhares de pontos de dados todos os dias, os bancos de dados gráficos irão visualizar automaticamente esses pontos de dados em gráficos em forma de árvore, o que permite a compreensão das relações entre os pontos de dados. Esta é uma vantagem notável sobre os bancos de dados relacionais, uma vez que os últimos requerem que os analistas identifiquem e gerem conexões manualmente entre os pontos de dados.

A visualização do gráfico melhora significativamente a eficiência da análise de dados, pois reduz o tempo para pesquisa e conexão de dados. Ele permite que você tome decisões diretamente com base nas conexões de dados identificadas.

👋 Você pode criar uma postagem como esta! Compartilhe suas idéias com uma comunidade de servidores públicos. Saber mais

(Crédito da imagem: Unsplash)