Suivre la traçabilité des données d'une table BigQuery

Ajouter un ensemble de données public à votre projet

1. Dans la console Google Cloud, accédez à la page "BigQuery".

   Accéder à BigQuery

2. Dans le volet Explorateur, cliquez sur Ajouter.

3. Dans le volet Ajouter, recherchez Public datasets, puis sélectionnez le résultat Ensembles de données publics.

4. Dans le volet Marketplace, recherchez NYC TLC Trips, puis cliquez sur le résultat NYC TLC Trips.

5. Cliquez sur Afficher l'ensemble de données.

Cette étape permet d'ajouter l'ensemble de données new_york_taxi_trips à votre projet. Le volet de détails affiche les informations sur l'ensemble de données, y compris son ID, l'emplacement des données et la date de dernière modification.

Créer un ensemble de données dans votre projet

1. Dans le volet Explorateur, sélectionnez le projet dans lequel vous souhaitez créer l'ensemble de données.

2. Cliquez sur l'icône more_vertActions, puis sur Créer un ensemble de données.

3. Sur la page Créer un ensemble de données, dans le champ ID de l'ensemble de données, saisissez : data_lineage_demo. Conservez les valeurs par défaut dans les autres champs.

4. Cliquez sur Créer un ensemble de données.

5. Dans le volet Explorateur, cliquez sur le data_lineage_demo que vous venez d'ajouter.

Le volet de détails affiche les informations sur l'ensemble de données.

Copier deux tables accessibles publiquement dans votre ensemble de données

1. Ouvrez un éditeur de requête: dans le volet de détails, à côté de l'onglet data_lineage_demo, cliquez sur add_box (Saisir une nouvelle requête). Cette étape crée un onglet appelé Untitled.

2. Dans l'éditeur de requête, copiez la première table en saisissant la requête suivante. Remplacez PROJECT_ID par l'identifiant de votre projet.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. Cliquez sur play_circle Exécuter. Cette étape crée la première table, appelée nyc_green_trips_2021.

4. Dans le volet Résultats de la requête, cliquez sur Accéder à la table. Cette étape affiche le contenu de la première table.

5. Dans l'éditeur de requête, copiez la deuxième table en remplaçant la requête précédente par la requête suivante. Remplacez PROJECT_ID par l'identifiant de votre projet.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. Cliquez sur play_circle Exécuter. Cette étape crée la deuxième table, appelée nyc_green_trips_2022.

7. Dans le volet Résultats de la requête, cliquez sur Accéder à la table. Cette étape affiche le contenu de la deuxième table.

Agréger les données dans un nouveau tableau

1. Dans l'éditeur de requête, saisissez la requête suivante. Remplacez PROJECT_ID par l'identifiant de votre projet.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. Cliquez sur play_circle Exécuter. Cette étape crée une table combinée, appelée total_green_trips_22_21.

3. Dans le volet Résultats de la requête, cliquez sur Accéder à la table. Cette étape affiche la table combinée.

Afficher le graphique de traçabilité dans Dataplex

1. Ouvrez la page "Recherche Dataplex".

   Ouvrir la recherche Dataplex

2. Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.

3. Dans le champ Rechercher, saisissez total_green_trips_22_21, puis cliquez sur Rechercher.

4. Dans la liste des résultats, cliquez sur total_green_trips_22_21. Cette étape affiche l'onglet Détails de la table BigQuery.

5. Cliquez sur l'onglet Tracé.

Dans le graphique de traçabilité, chaque nœud rectangulaire représente une table (une table d'origine, une table copiée ou une table combinée). Vous pouvez procéder comme suit :

• Affichez ou masquez l'origine d'une table en cliquant sur + (Développer) ou - (Réduire).

• Affichez les informations de la table en cliquant sur un nœud. Cette étape affiche un volet Détails du nœud.

• Affichez les informations sur le processus en cliquant sur une icône de processus . Cette étape affiche un volet Détails du processus indiquant la tâche qui a transformé une table source en table cible.