Registros por lotes y rutas de forma retroactiva

En esta página, se describe cómo copiar de forma manual las entradas de registro que ya están almacenadas de buckets de registros de Cloud Logging a buckets de Cloud Storage. Puedes copiar entradas de registro de buckets de registros a Cloud Storage de buckets por los siguientes motivos:

  • En caso de que te olvides de enrutar las entradas de registro a Cloud Storage antes de su almacenamiento en Logging.
  • Compartir entradas de registro con auditores fuera de Logging.
  • Analizar entradas de registro con secuencias de comandos en Cloud Storage

Cuando copias entradas de registro en Cloud Storage, las entradas de registro también permanecen del bucket de registros desde donde se copiaron.

Las operaciones de copia no reemplazan receptores, que envían automáticamente todas entradas de registro entrantes a un destino de almacenamiento admitido preseleccionado, que incluye buckets de Cloud Storage. Usa receptores cuando sepas que quieres para almacenar entradas de registro en un bucket de Cloud Storage.

Para copiar registros y, luego, administrar y supervisar la operación, debes usar el Google Cloud CLI

Limitaciones

Las siguientes limitaciones se aplican cuando se copian entradas de registro:

  • Solo puedes copiar registros en buckets de Cloud Storage. otros destinos no disponibles.

  • No puedes copiar registros de buckets de registros que tienen CMEK configuradas.

Antes de comenzar

Antes de comenzar a copiar registros, haz lo siguiente:

  • A fin de obtener los permisos que necesitas para copiar las entradas de registro desde Logging y, luego, escribir las entradas de registro a Cloud Storage, solicita a tu administrador que te otorgue el los siguientes roles de IAM en tu proyecto:

  • Si quieres obtener los permisos necesarios para ver y administrar el estado de una operación de copia, solicita a tu administrador que te otorgue el Es la función de IAM de Escritor de configuración de registros (roles/logging.configWriter) en tu proyecto.

Copiar las entradas de registro

Logging solo copia las entradas de registro que se almacenan en el bucket de registros cuando comienza la operación de copia. Las entradas de registro que se almacenan en buckets de registros una vez comenzada, no se copian en Cloud Storage.

Para copiar entradas de registro en Cloud Storage, debes saber lo siguiente: información:

  • El ID y la ubicación del bucket de registros desde el que copias el registro. Para recuperar el ID de bucket de registros y su ubicación, usa el Comando de gcloud CLI gcloud logging buckets list.
  • El nombre del bucket de Cloud Storage en el que estás copiando. Información sobre cómo recuperar el nombre del bucket de Cloud Storage, consulta Obtén información del bucket de Cloud Storage.
  • Un filtro para las entradas de registro que que deseas copiar.

Para copiar entradas de registro, ejecuta el comando Comando gcloud logging copy:

gcloud logging copy BUCKET_ID storage.googleapis.com/CLOUD_STORAGE_BUCKET_NAME \
--location=LOCATION --log-filter='FILTER' --project=PROJECT_ID

Antes de ejecutar el comando anterior, haz lo siguiente:

  • Reemplaza BUCKET_ID por el nombre de tu bucket de registros.
  • Reemplaza CLOUD_STORAGE_BUCKET_NAME por el nombre de tu depósito de Cloud Storage.
  • Reemplaza LOCATION por la ubicación del bucket de registros.

  • Reemplaza FILTER por el filtro que define qué registros se pueden recuperar (opcional). copiado.

  • Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud. Puedes omitir esta marca cuando gcloud CLI activa esté establecida en el proyecto de Google Cloud correcto.

Comando de ejemplo:

gcloud logging copy my-log-bucket storage.googleapis.com/my-gcs-bucket \
--location=global --log-filter='timestamp > "2021-03-18T10:00:00.0Z"' \
--project=my-project

Este comando crea un operación de larga duración se ejecute en segundo plano y devuelve el nombre de la operación de copia y el ubicación del bucket de registros:

name: projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID

La ubicación de la operación de copia es la misma que la ubicación del registro bucket del que copias los registros.

Ver y administrar operaciones de copia

Puede ver y administrar sus operaciones de copiado con el gcloud logging operations comandos, que te permiten enumerar, ver y cancelar operaciones.

Los siguientes comandos requieren que especifiques la ubicación de la operación. Usa la ubicación de tu bucket de registros. Para obtener información sobre cómo encontrar la la ubicación de tu bucket de registros, consulta Consulta los detalles de un bucket.

Muestra una lista de operaciones de copia

Puedes enumerar las operaciones de copia recientes, como programadas, en ejecución, completadas operaciones fallidas y canceladas. Las operaciones de copia recientes aparecen en los resultados hasta 30 días después de la hora de finalización.

Para enumerar las operaciones de copia, ejecuta el siguiente comando:

gcloud logging operations list --location=LOCATION \
--operation-filter=request_type=CopyLogEntries \
--project=PROJECT_ID

Antes de ejecutar el comando anterior, haz lo siguiente:

  • Reemplaza LOCATION por la ubicación del bucket de registros desde el que estás la copia de registros.
  • Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud.

El comando devuelve información sobre la operación de larga duración, incluidas el ID de operación:

projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID

Consulta el estado de una operación de copia

Puedes recuperar el estado y otros metadatos sobre las operaciones de copia. incluidos los siguientes:

  • startTime: La marca de tiempo que indica la creación de la operación.
  • endTime: La marca de tiempo que indica la finalización de la operación.
  • state: El estado de la operación (programada, en ejecución, cancelada, con errores o sin errores).
  • cancellation: Indica si el usuario solicitó cancelar la operación.
  • progress: Progreso estimado de la operación (0-100%).
  • destination: Es el nombre del bucket de Cloud Storage al que es copiar registros.
  • filter: Es el filtro que especifica qué entradas de registro se deben copiar.
  • name: Es el nombre del bucket de registros desde el que la operación copia los registros.
  • logEntriesCopiedCount: La cantidad de entradas de registro que se copiaron correctamente en el bucket de Cloud Storage por la operación.

Ten en cuenta que no todos los campos de metadatos enumerados se aplican a todas las operaciones de copia. Por ejemplo, si una operación de copia aún está en ejecución, los metadatos endtime que no se aplicaría a la operación. Como otro ejemplo, si el No se usó la marca --log-filter=FILTER al ejecutar el comando gcloud logging copy, no se aplicarían los metadatos de filter. a la operación.

Para recuperar información sobre una operación de copia, ejecuta el siguiente comando:

gcloud logging operations describe OPERATION_ID \
--location=LOCATION --project=PROJECT_ID

Antes de ejecutar el comando anterior, haz lo siguiente:

  • Reemplaza OPERATION_ID por el ID de la operación.
  • Reemplaza LOCATION por la ubicación del bucket de registros desde el que estás la copia de registros.
  • Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud.

El comando muestra metadatos sobre la operación de copia. Por ejemplo, aquí está un resultado de una operación en curso:

done: false
metadata:
  `@type`: type.googleapis.com/google.logging.v2.CopyLogEntriesMetadata
  progress: 75
  destination: storage.googleapis.com/my-storage-bucket-1
  source: projects/my-test-project/locations/us-central1/buckets/my-logging-bucket-2
  verb: copy
  startTime: `2023-05-23T10:52:40.039751Z`
  state: OPERATION_STATE_RUNNING
name: projects/my-test-project/locations/us-central1/buckets/my-logging-bucket-2
   </pre>

Cancela una operación de copia

Puedes cancelar una operación de copia en curso. Si cancelas una operación de copia, Todas las entradas de registro que se copiaron antes de que se cancelara la operación permanecen en el bucket de Cloud Storage.

Después de cancelar una operación de copia, Logging completa todas procesos antes de completar la cancelación. Esto podría generar registros que todavía se copian en Cloud Storage después de cancelar el una sola operación.

Para cancelar una operación de copia, ejecuta el siguiente comando:

gcloud logging operations cancel OPERATION_ID \
--location=LOCATION --project=PROJECT_ID

Antes de ejecutar el comando anterior, haz lo siguiente:

  • Reemplaza OPERATION_ID por el ID de la operación.
  • Reemplaza LOCATION por la ubicación del bucket de registros desde el que estás la copia de registros.
  • Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud.

Ver registros en Cloud Storage

Para ver y comprender los registros que copiaste en Cloud Storage, consulta Visualiza los registros enrutados a Cloud Storage.

Cuotas y límites

Todas las operaciones de copia demoran al menos una hora en completarse, sin importar la cantidad de los datos que se copian.

Para copiar un gran volumen (por ejemplo, petabytes), divide el proceso de copia. en varias operaciones de copia mediante el campo timestamp en el --filter.

Precios

Cloud Logging no cobra por enrutar los registros a una destino admitido; Sin embargo, es posible que el destino aplique cargos. A excepción del bucket de registros _Required, Cloud Logging cobra por transmitir registros a buckets de registros y por más tiempo que el período de retención predeterminado del bucket de registros.

Cloud Logging no cobra por copiar registros ni por las consultas emitidas a través del desde la página Explorador de registros o a través de la página Análisis de registros.

Para obtener más información, consulta los siguientes documentos: