Traiter des données avec Cloud Data Fusion

Cloud Data Fusion fournit un plug-in source Dataplex permettant de lire les données d'entités Dataplex (tables) hébergées sur des éléments Cloud Storage ou BigQuery. Le plug-in Dataplex vous permet de traiter les données des éléments Cloud Storage comme des tables et de les filtrer à l'aide de requêtes SQL simples.

Avant de commencer

  • Créez une instance Cloud Data Fusion, si vous n'en avez pas. Ce plug-in est disponible dans les instances qui s'exécutent dans Cloud Data Fusion version 6.6 ou ultérieure.

  • Les données sources doivent déjà faire partie d'une zone Dataplex et d'un élément (bucket Cloud Storage ou ensemble de données BigQuery).

  • Pour utiliser des tables Cloud Storage, vous devez configurer un métastore pour votre lac.

  • Pour que les données soient lues à partir d'entités Cloud Storage, Dataproc Metastore doit être associé au lac.

  • Les données CSV dans les entités Cloud Storage ne sont pas acceptées.

  • Dans le projet Dataplex, activez l'accès privé à Google sur le sous-réseau, généralement défini sur default, ou définissez internal_ip_only sur false.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les rôles, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur l'agent de service Dataproc et l'agent de service Cloud Data Fusion (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com):

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Limites

  • Pour les éléments Cloud Storage: ce plug-in n'est pas compatible avec la lecture à partir des fichiers CSV. Il est compatible avec la lecture des formats JSON, Avro, Parquet et ORC.

  • Pour les éléments Cloud Storage: Date de début de la partition et Date de fin de la partition ne sont pas applicables.

Ajouter le plug-in à votre pipeline

  1. Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion.

    Accéder à la page "Instances"

    Cette page vous permet de gérer vos instances.

  2. Cliquez sur Afficher l'instance pour ouvrir votre instance dans l'interface utilisateur de Cloud Data Fusion.

  3. Accédez à la page Studio, développez le menu Source et cliquez sur Dataplex.

Configurer le plug-in

Après avoir ajouté ce plug-in à votre pipeline sur la page Studio, cliquez sur la source Dataplex pour configurer ses propriétés.

Pour en savoir plus sur les configurations, consultez la documentation de référence sur la source Dataplex.

Facultatif: Premiers pas avec un exemple de pipeline

Des exemples de pipelines sont disponibles, y compris un pipeline entre une source SAP et un récepteur Dataplex, ou un pipeline Dataplex vers un récepteur BigQuery.

Pour utiliser un exemple de pipeline, ouvrez votre instance dans l'UI Cloud Data Fusion, cliquez sur Hub > Pipelines, puis sélectionnez l'un des pipelines Dataplex. Une boîte de dialogue s'ouvre pour vous aider à créer le pipeline.

Étapes suivantes