En este documento, se describe cómo supervisar y optimizar los recursos para un trabajo por lotes mediante la visualización de las métricas en Cloud Monitoring. Para obtener más información sobre los recursos en los que se ejecuta un trabajo, consulta Recursos de trabajo.
Para cualquier trabajo, Monitoring proporciona métricas básicas, como el uso de CPU y el tráfico de red. Sin embargo, algunas métricas, como la memoria y el uso de procesos, solo se pueden recopilar si un trabajo instala el Agente de operaciones. Las métricas de los recursos de un trabajo te ayudan a evaluar el rendimiento y el uso de cada recurso. Esta información puede ayudarte a identificar mejoras para cualquier iteración futura del trabajo. Por ejemplo, puedes quitar recursos no usados para optimizar los costos, o mejorar o aumentar los recursos forzados con el objetivo de mejorar el rendimiento.
Antes de comenzar
- Si no usaste Batch antes, revisa Comienza a usar Batch y habilita Batch. Para ello, completa los requisitos previos para proyectos y usuarios.
- Opcional: Si quieres recopilar métricas adicionales para un trabajo, crea y ejecuta un trabajo que instale automáticamente el Agente de operaciones.
- Si tu proyecto aún no lo ha hecho, habilita la API de Monitoring:
-
Si deseas obtener los permisos que necesitas para ver las métricas de observabilidad, pídele a tu administrador que te otorgue el rol de IAM de Visualizador de métricas de Monitoring (
roles/monitoring.metricViewer
) en el proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.Es posible que también puedas obtener los permisos necesarios a través de funciones personalizadas o, también, otras funciones predefinidas.
Ver métricas de los recursos del trabajo
En Observa y supervisa VM, en la documentación de Compute Engine, se proporciona información conceptual relevante sobre las métricas de VM. Sin embargo, se recomiendan diferentes métodos si quieres ver las métricas de VM para trabajos por lotes. En la documentación de Compute Engine, en particular, se explica cómo ver las métricas con los paneles predefinidos de Monitoring para las páginas de Compute Engine o Compute Engine en la consola de Google Cloud. Sin embargo, lo más importante es que esos métodos no muestran información sobre las VM que se borraron. Como resultado, no uses esos métodos, a menos que solo quieras ver las métricas de los trabajos de Batch mientras se ejecutan.
Visualiza las métricas de los trabajos por lotes en ejecución y finalizados mediante los gráficos del Explorador de métricas como se explica en esta sección. En particular, los gráficos son temporales, a menos que los guardes en paneles personalizados.
Si deseas crear un gráfico para ver una o más métricas, haz lo siguiente:
- Opcional: Si planeas guardar el gráfico, identifica o crea un panel personalizado para el gráfico.
Crea un gráfico del Explorador de métricas para una o más métricas.
Sin filtros, cada métrica de VM de un gráfico incluye datos de todas las VMs de tu proyecto. De manera opcional, si deseas filtrar el gráfico para que solo incluya métricas de todos los trabajos por lotes o de trabajos específicos por lotes, agrega el siguiente filtro:
group=RESOURCE_GROUP_NAME
Reemplaza
RESOURCE_GROUP_NAME
por el nombre de un grupo de recursos para trabajos por lotes. Si deseas obtener más información, consulta Crea grupos de recursos para filtrar métricas en este documento.
Crea grupos de recursos para filtrar métricas
Puedes usar grupos de recursos como filtros personalizables para los gráficos del Explorador de métricas. Si deseas crear un grupo de recursos para todos los trabajos por lotes o para trabajos específicos en tu proyecto, haz lo siguiente:
Selecciona una etiqueta para usar como los criterios de membresía en función de los trabajos que deseas incluir en el grupo:
- Todos los trabajos por lotes: Usa la etiqueta predefinida
batch-node
, que se aplica de forma automática a todos los recursos para todos los trabajos por lotes y tiene un valor nulo. Trabajos por lotes específicos: usa una etiqueta que se aplique a los recursos solo para trabajos específicos de Batch.
Por ejemplo, si deseas crear un grupo basado en nombres de trabajos completos o parciales, usa el nombre predefinido de etiqueta
batch-job-id
con un valor específico. La etiquetabatch-job-id
se aplica de forma automática a todos los recursos de todos los trabajos por lotes y se define con el nombre del trabajo.Como alternativa, si usas una etiqueta personalizada, debes aplicarla a todos los recursos de los trabajos por lotes que deseas incluir en el grupo cuando creas los trabajos.
- Todos los trabajos por lotes: Usa la etiqueta predefinida
Asegúrate de que tu proyecto tenga al menos un trabajo con la etiqueta seleccionada y que este trabajo esté en el estado
RUNNING
. De lo contrario, esta etiqueta no aparecerá como una opción cuando intentes crear el grupo de recursos.Crea un grupo de recursos. Cuando especifiques los criterios de membresía, haz lo siguiente:
- Configura el Tipo como Etiqueta.
Establece el campo Etiqueta con el nombre de la etiqueta seleccionada. Luego, configura los siguientes campos según los valores de etiqueta que deseas que incluya el grupo.
Por ejemplo, si deseas que este grupo incluya todos los trabajos por lotes, configura la Etiqueta como
batch-node
y el Operador como Exists. Como alternativa, deseas que este grupo incluya trabajos por lotes con nombres que comienzan contest
, establece Etiqueta comobatch-job-id
, Operador como Comienza con y Valor comotest
.
¿Qué sigue?
- Obtén más información sobre las métricas de los recursos de trabajo:
- Obtén información sobre otros métodos para supervisar y optimizar trabajos por lotes:
- Supervisa el estado del trabajo con notificaciones de Pub/Sub y BigQuery.
- Coloca las VM para reducir la latencia.
- Obtén más información sobre las opciones de creación de trabajos.