Rastrear a linhagem de dados de uma tabela do BigQuery

Adicionar um conjunto de dados público ao projeto

1. No console do Google Cloud, acesse a página do BigQuery.

   Acessar o BigQuery

2. No painel Explorer, clique em Adicionar.

3. No painel Adicionar, procure Public datasets e selecione o resultado Conjuntos de dados públicos.

4. No painel Marketplace, pesquise NYC TLC Trips e clique no resultado NYC TLC Trips.

5. Clique em Ver conjunto de dados.

Nesta etapa, o conjunto de dados new_york_taxi_trips será adicionado ao seu projeto. O painel de detalhes mostra Informações do conjunto de dados, incluindo informações como ID do conjunto de dados, Local dos dados e Data da Última modificação.

Criar um conjunto de dados no projeto

1. No painel Explorer, selecione o projeto em que você quer criar o conjunto de dados.

2. Clique no ícone more_vertAções e em Criar conjunto de dados.

3. Na página Criar conjunto de dados, no campo ID do conjunto de dados, digite: data_lineage_demo. Não altere os valores padrão dos outros campos.

4. Clique em Criar conjunto de dados.

5. No painel Explorer, clique no data_lineage_demo recém-adicionado.

O painel de detalhes mostra as informações do conjunto de dados.

Copiar duas tabelas acessíveis publicamente para seu conjunto de dados

1. Abra um editor de consultas: no painel de detalhes, ao lado da guia chamada data_lineage_demo, clique em add_box (Criar nova consulta). Esta etapa cria uma guia chamada Untitled.

2. No editor de consultas, copie a primeira tabela inserindo a consulta a seguir. Substitua PROJECT_ID pelo identificador do projeto.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. Clique em play_circle Executar. Esta etapa cria a primeira tabela, chamada nyc_green_trips_2021.

4. No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa exibe o conteúdo da primeira tabela.

5. No editor de consultas, copie a segunda tabela substituindo a consulta anterior pela consulta a seguir. Substitua PROJECT_ID pelo identificador do projeto.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. Clique em play_circle Executar. Esta etapa cria a segunda tabela, chamada nyc_green_trips_2022.

7. No painel Resultados da consulta, clique em Ir para a tabela. Essa etapa exibe o conteúdo da segunda tabela.

Agregar dados em uma nova tabela

1. No editor de consultas, insira a consulta a seguir. Substitua PROJECT_ID pelo identificador do projeto.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. Clique em play_circle Executar. Nesta etapa, uma tabela combinada é criada, chamada total_green_trips_22_21.

3. No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa exibe a tabela combinada.

Conferir o gráfico de linhagem no Dataplex

1. Abra a página de pesquisa do Dataplex.

   Abrir a pesquisa do Dataplex

2. Em Escolher plataforma de pesquisa, selecione Data Catalog como o modo de pesquisa.

3. Na caixa Pesquisa, digite total_green_trips_22_21 e clique em Pesquisar.

4. Na lista de resultados, clique em total_green_trips_22_21. Esta etapa exibe a guia Detalhes da tabela do BigQuery.

5. Clique na guia Linhagem.

No gráfico de linhagem, cada nó retangular representa uma tabela, seja ela original, copiada ou combinada. Faça o seguinte:

• Mostre ou oculte a origem de uma tabela clicando em + (Expandir) ou - (Recolher).

• Mostrar informações da tabela clicando em um nó. Esta etapa exibe um painel Detalhes do nó.

• Mostre informações do processo clicando em um ícone de processo . Esta etapa exibe um painel Detalhes do processo mostrando o job que transformou uma tabela de origem em uma tabela de destino.