Per configurare ed eseguire un flusso di lavoro, puoi:
- Creazione di un modello di flusso di lavoro
- Configurazione di un cluster gestito (temporaneo) o selezione di un cluster esistente
- Aggiunta di job
- Creazione dell'istanza del modello per l'esecuzione del flusso di lavoro
Crea un modello
Interfaccia a riga di comando gcloud
Esegui questo comando command
per creare una risorsa modello di flusso di lavoro Dataproc.
gcloud dataproc workflow-templates create TEMPLATE_ID \ --region=REGION
Note
- REGION: specifica la regione in cui verrà eseguito il modello.
- TEMPLATE_ID: fornisci un ID per il modello, ad esempio "workflow-template-1".
- Crittografia CMEK. Puoi aggiungere il flag --kms-key per utilizzare la crittografia CMEK sugli argomenti del job del modello di flusso di lavoro.
API REST
Invia un WorkflowTemplate come parte di una richiesta workflowTemplates.create. Puoi aggiungere il campo WorkflowTemplate.EncryptionConfig.kmsKey per utilizzare la crittografia CMEK sugli argomenti dei job dei modelli di flusso di lavoro. kmsKey
Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro creati in un'istanza dalla pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Configurazione o selezione di un cluster
Dataproc può creare e utilizzare un nuovo cluster "gestito" per il flusso di lavoro o un cluster esistente.
Cluster esistente: consulta Utilizzo dei selettori di cluster con flussi di lavoro per selezionare un cluster esistente per il flusso di lavoro.
Cluster gestito:devi configurare un cluster gestito per il tuo flusso di lavoro. Dataproc creerà questo nuovo cluster per eseguire job del flusso di lavoro, quindi lo eliminerà al termine del flusso di lavoro.
Puoi configurare un cluster gestito per il tuo flusso di lavoro utilizzando lo strumento a riga di comando
gcloud
o l'API Dataproc.Comando g-cloud
Utilizza i flag ereditati da gcloud dataproc cluster create per configurare il cluster gestito, ad esempio il numero di worker e il tipo di macchina master e worker. Dataproc aggiungerà un suffisso al nome del cluster per garantire l'univocità. Puoi utilizzare il flag
--service-account
per specificare un account di servizio VM per il cluster gestito.gcloud dataproc workflow-templates set-managed-cluster TEMPLATE_ID \ --region=REGION \ --master-machine-type=MACHINE_TYPE \ --worker-machine-type=MACHINE_TYPE \ --num-workers=NUMBER \ --cluster-name=CLUSTER_NAME --service-account=SERVICE_ACCOUNT
API REST
Vedi WorkflowTemplatePlacement.ManagedCluster, che puoi fornire come parte di un WorkflowTemplate completato inviato con una richiesta workflowTemplates.create o workflowTemplates.update.
Puoi utilizzare il campo
GceClusterConfig.serviceAccount
per specificare un account di servizio VM per il cluster gestito.Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Aggiunta di job a un modello
Tutti i job vengono eseguiti contemporaneamente, a meno che non specifichi una o più dipendenze del job. Le dipendenze di un job vengono espresse sotto forma di elenco di altri job che devono essere completati correttamente prima dell'inizio del job definitivo. Devi fornire un valore step-id
per ogni job. L'ID deve essere univoco all'interno del flusso di lavoro, ma non deve essere
univoco a livello globale.
Comando g-cloud
Utilizza il tipo di job e i flag ereditati da
gcloud dataproc job send
per definire il job da aggiungere al modello. Facoltativamente, puoi utilizzare il flag ‑‑start-after job-id of another workflow job
per avviare il job dopo il completamento di uno o più degli altri job nel flusso di lavoro.
Esempi:
Aggiungi il job Hadoop "foo" al modello "my-workflow".
gcloud dataproc workflow-templates add-job hadoop \ --region=REGION \ --step-id=foo \ --workflow-template=my-workflow \ -- space separated job args
Aggiungi il job "bar" al modello "my-workflow", che verrà eseguito dopo il completamento del job di flusso di lavoro "foo".
gcloud dataproc workflow-templates add-job JOB_TYPE \ --region=REGION \ --step-id=bar \ --start-after=foo \ --workflow-template=my-workflow \ -- space separated job args
Aggiungi un altro job "baz" al modello "my-workflow" da eseguire dopo il completamento corretto dei job "foo" e "bar".
gcloud dataproc workflow-templates add-job JOB_TYPE \ --region=REGION \ --step-id=baz \ --start-after=foo,bar \ --workflow-template=my-workflow \ -- space separated job args
API REST
Vedi WorkflowTemplate.OrderedJob. Questo campo viene fornito come parte di un WorkflowTemplate completato inviato con una richiesta workflowTemplates.create o workflowTemplates.update.
Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Esecuzione di un flusso di lavoro
La creazione dell'istanza di un modello di flusso di lavoro esegue il flusso di lavoro definito dal modello. Sono supportate più istanze di un modello: puoi eseguire un flusso di lavoro più volte.
Comando g-cloud
gcloud dataproc workflow-templates instantiate TEMPLATE_ID \ --region=REGION
Il comando restituisce un ID operazione che puoi utilizzare per monitorare lo stato del flusso di lavoro.
Comando e output di esempio:gcloud beta dataproc workflow-templates instantiate my-template-id \ --region=us-central1 ... WorkflowTemplate [my-template-id] RUNNING ... Created cluster: my-template-id-rg544az7mpbfa. Job ID teragen-rg544az7mpbfa RUNNING Job ID teragen-rg544az7mpbfa COMPLETED Job ID terasort-rg544az7mpbfa RUNNING Job ID terasort-rg544az7mpbfa COMPLETED Job ID teravalidate-rg544az7mpbfa RUNNING Job ID teravalidate-rg544az7mpbfa COMPLETED ... Deleted cluster: my-template-id-rg544az7mpbfa. WorkflowTemplate [my-template-id] DONE
API REST
Vedi workflowTemplates.instantiate.Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Errori dei job del flusso di lavoro
Un errore in qualsiasi job di un flusso di lavoro comporterà l'esito negativo del flusso di lavoro. Dataproc cercherà di mitigare l'effetto degli errori causando l'errore di tutti i job in esecuzione contemporaneamente e impedendo l'avvio dei job successivi.
Monitoraggio ed elenco di un flusso di lavoro
Comando g-cloud
Per monitorare un flusso di lavoro:
gcloud dataproc operations describe OPERATION_ID \ --region=REGION
Nota: l'ID operazione viene restituito quando crei un'istanza del flusso di lavoro con gcloud dataproc workflow-templates instantiate
(vedi Esecuzione di un flusso di lavoro).
Per elencare lo stato del flusso di lavoro:
gcloud dataproc operations list \ --region=REGION \ --filter="labels.goog-dataproc-operation-type=WORKFLOW AND status.state=RUNNING"
API REST
Per monitorare un flusso di lavoro, utilizza l'API Dataproc operations.get.
Per elencare i flussi di lavoro in esecuzione, utilizza l'API Dataproc operations.list con un filtro per etichetta.
Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Terminare un flusso di lavoro
Puoi terminare un flusso di lavoro utilizzando Google Cloud CLI o chiamando l'API Dataproc.
Comando g-cloud
gcloud dataproc operations cancel OPERATION_ID \ --region=REGIONNota: l'ID operazione restituito quando crei un'istanza del flusso di lavoro con
gcloud dataproc workflow-templates instantiate
(vedi Esecuzione di un flusso di lavoro).
API REST
Vedi l'API operations.cancel.
Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Aggiornamento di un modello di flusso di lavoro
Gli aggiornamenti non influiscono sui flussi di lavoro in esecuzione. La nuova versione del modello verrà applicata solo ai nuovi flussi di lavoro.
Comando g-cloud
I modelli di flusso di lavoro possono essere aggiornati inviando nuovi comandi gcloud workflow-templates
che fanno riferimento a un template-id del flusso di lavoro esistente:
API REST
Per aggiornare un modello con l'API REST:
- Richiama workflowTemplates.get, che restituisce il modello corrente con il campo
version
compilato con la versione corrente del server. - Apporta aggiornamenti al modello recuperato.
- Chiama workflowTemplates.update con il modello aggiornato.
Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.
Eliminazione di un modello di flusso di lavoro
Comando g-cloud
gcloud dataproc workflow-templates delete TEMPLATE_ID \ --region=REGION
Nota: l'ID operazione restituito quando crei un'istanza del flusso di lavoro con gcloud dataproc workflow-templates instantiate
(vedi Esecuzione di un flusso di lavoro).
API REST
Vedi workflowTemplates.delete.Console
Puoi visualizzare i modelli di flusso di lavoro esistenti e i flussi di lavoro di cui hai creato un'istanza nella pagina Flussi di lavoro di Dataproc nella console Google Cloud.