Considérations sur la réplication par lot S3Spécification d'un manifeste pour une tâche de réplication par lotFiltres pour une tâche de réplication par lotRapport de fin de la réplication par lotDémarrer avec la réplication par lot

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Réplication d'objets existants via la réplication par lot S3

Avec S3 Batch Replication, vous pouvez répliquer les types d'objets suivants :

  • Objets qui existaient avant la mise en place d'une configuration de réplication

  • Objets précédemment répliqués

  • Objets dont la réplication a échoué

Vous pouvez répliquer ces objets à la demande à l'aide d'une tâche Batch Operations. La réplication par lots S3 est différente de la réplication en direct, qui réplique automatiquement et en continu les nouveaux objets dans les compartiments Amazon S3.

Pour commencer à utiliser Batch Replication, vous pouvez :

  • Lancer la réplication par lots pour une nouvelle règle ou destination de réplication : vous pouvez créer une tâche de réplication par lots unique lorsque vous créez la première règle d'une nouvelle configuration de réplication ou lorsque vous ajoutez une nouvelle destination à une configuration existante via la console Amazon S3.

  • Lancer la réplication par lots pour une configuration de réplication existante : vous pouvez créer une nouvelle tâche de réplication par lots en utilisant S3 Batch Operations via la console Amazon S3, le AWS Command Line Interface (AWS CLI), AWS les SDK ou l'API REST Amazon S3.

Lorsque la tâche de réplication par lot est terminée, vous recevez un rapport de fin d'opérations. Pour plus d'informations sur l'utilisation du rapport pour examiner la tâche, consultez Suivi de l'état de la tâche et des rapports de fin de tâche.

Considérations sur la réplication par lot S3

  • Votre compartiment source doit être associé à une configuration de réplication existante. Pour activer la réplication, consultez la section Configuration de la réplication en direct et Exemples de configuration de la réplication en direct.

  • Si S3 Lifecycle est configuré pour votre compartiment, nous vous recommandons de désactiver vos règles de cycle de vie lorsque la tâche de réplication par lots est active. Cela permet de garantir la parité entre les compartiments source et de destination. Dans le cas contraire, ces compartiments risquent de diverger et le compartiment de destination ne sera pas une réplique exacte du compartiment source. Par exemple, imaginez le scénario suivant:

    • Votre compartiment source contient plusieurs versions d'un objet et un marqueur de suppression sur cet objet.

    • Vos compartiments source et de destination disposent d'une configuration de cycle de vie pour retirer les marqueurs de suppression expirés.

    Dans ce scénario, Batch Replication peut répliquer le marqueur de suppression dans le compartiment de destination avant de répliquer les versions des objets. Ce comportement peut avoir pour conséquence que votre configuration du cycle de vie marque le marqueur de suppression comme expiré et que le marqueur de suppression soit supprimé du compartiment de destination avant que les versions des objets ne soient répliquées.

  • Le rôle AWS Identity and Access Management (IAM) que vous spécifiez pour exécuter la tâche Batch Operations doit disposer des autorisations nécessaires pour effectuer l'opération de réplication par lots sous-jacente. Pour plus d'informations sur la création de rôles IAM, consultez Configuration des politiques IAM pour la réplication par lot.

  • La réplication par lots nécessite un manifeste, qui peut être généré par Amazon S3. Le manifeste généré doit être stocké dans le même emplacement Région AWS que le compartiment source. Si vous choisissez de ne pas générer le manifeste, vous pouvez fournir un rapport d'inventaire Amazon S3 ou un fichier CSV contenant les objets que vous souhaitez répliquer.

  • La réplication par lots ne prend pas en charge la réplication d'objets supprimés avec l'ID de version de l'objet depuis le compartiment de destination. Pour répéter la réplication de ces objets, vous pouvez copier les objets sources en place avec une tâche de copie par lot. La copie de ces objets sur place crée de nouvelles versions des objets dans le compartiment source et lance automatiquement la réplication vers le compartiment de destination. La suppression et la recréation du compartiment de destination n'initient pas la réplication.

    Pour plus d'informations sur Batch Copy, consultezExemples qui utilisent des opérations par lot pour copier des objets.

  • Si vous utilisez une règle de réplication sur le compartiment S3, veillez à mettre à jour votre configuration de réplication en accordant au rôle IAM attaché à la règle de réplication les autorisations appropriées pour répliquer des objets. Ce rôle IAM doit disposer des autorisations nécessaires pour effectuer la réplication à la fois sur les compartiments source et de destination.

  • Si vous soumettez plusieurs tâches de réplication par lots pour le même compartiment dans un court laps de temps, Amazon S3 exécutera ces tâches simultanément.

  • Si vous soumettez plusieurs tâches de réplication par lots pour deux compartiments différents, sachez qu'Amazon S3 peut ne pas exécuter toutes les tâches simultanément. Si vous dépassez le nombre de tâches de réplication par lots pouvant être exécutées simultanément sur votre compte, Amazon S3 interrompra les tâches les moins prioritaires pour travailler sur les tâches les plus prioritaires. Une fois les tâches les plus prioritaires terminées, toutes les tâches en pause redeviennent actives.

  • La réplication par lots n'est pas prise en charge pour les objets stockés dans les classes de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive.

  • Pour répliquer par lots des objets S3 Intelligent-Tiering stockés dans les niveaux de stockage Archive Access ou Deep Archive Access, vous devez d'abord lancer une demande de restauration et attendre que les objets soient déplacés vers le niveau Frequent Access.

Spécification d'un manifeste pour une tâche de réplication par lot

Un manifeste est un objet Amazon S3 qui contient les clés d’objet sur lesquelles Amazon S3 doit agir. Si vous souhaitez créer une tâche de réplication par lots, vous devez fournir un manifeste généré par l'utilisateur ou demander à Amazon S3 de générer un manifeste en fonction de votre configuration de réplication.

Si vous fournissez un manifeste généré par l'utilisateur, il doit prendre la forme d'un rapport d'inventaire Amazon S3 ou d'un fichier CSV. Si les objets de votre manifeste sont dans un compartiment versionné, vous devez spécifier les ID de version des objets. Seul l'objet dont l'ID de version est spécifié dans le manifeste sera répliqué. Pour en savoir plus sur la spécification d'un manifeste, consultez Spécification d'un manifeste.

Si vous choisissez de demander à Amazon S3 de générer un fichier manifeste en votre nom, les objets répertoriés utiliseront le même compartiment source, le même préfixe et les mêmes balises que toutes vos configurations de réplication du compartiment source. Avec un manifeste généré, Amazon S3 répliquera toutes les versions éligibles de vos objets.

Note

Si vous choisissez qu'Amazon S3 génère le manifeste, celui-ci doit être stocké dans le même compartiment Région AWS que le compartiment source.

Filtres pour une tâche de réplication par lot

Lorsque vous créez votre tâche de réplication par lots, vous pouvez éventuellement spécifier des filtres supplémentaires, tels que la date de création de l'objet et l'état de réplication, afin de réduire l'étendue de la tâche.

Vous pouvez filtrer les objets à répliquer sur la base de la valeur ObjectReplicationStatuses, en fournissant une ou plusieurs des valeurs suivantes :

  • "NONE" – Indique qu'Simple Storage Service (Amazon S3) n'a jamais tenté de répliquer l'objet auparavant.

  • "FAILED"— Indique qu'Amazon S3 a déjà tenté, sans succès, de répliquer l'objet.

  • "COMPLETED" – Indique qu'Simple Storage Service (Amazon S3) a déjà répliqué l'objet avec succès.

  • "REPLICA"— Indique qu'il s'agit d'un objet répliqué qu'Amazon S3 a répliqué depuis une autre source.

Pour plus d'informations sur les statuts de la réplication, consultez Obtention d'informations sur le statut de la réplication.

Si vous ne filtrez pas votre tâche de réplication par lots, Batch Operations tentera de répliquer tous les objets (quels qu'ils soientObjectReplicationStatus) de votre manifeste qui répondent aux règles de votre configuration de réplication, à l'exception de certains objets qui ne sont pas répliqués par défaut. Pour plus d’informations, consultez Qu'est-ce qui n'est pas répliqué avec les configurations de réplication ?.

En fonction de votre objectif, vous pouvez ObjectReplicationStatuses définir une ou plusieurs des valeurs suivantes :

  • Pour répliquer uniquement les objets existants qui n'ont jamais été répliqués, incluez uniquement. "NONE"

  • Pour réessayer de répliquer uniquement les objets qui n'avaient pas pu être répliqués auparavant, incluez uniquement. "FAILED"

  • Pour répliquer des objets existants et réessayer de répliquer des objets qui n'avaient pas pu être répliqués auparavant, incluez les deux et. "NONE" "FAILED"

  • Pour remplir un compartiment de destination avec des objets répliqués vers une autre destination, incluez. "COMPLETED"

  • Pour répliquer des objets précédemment répliqués, incluez. "REPLICA"

Rapport de fin de la réplication par lot

Lorsque vous créez une tâche de réplication par lot, vous pouvez demander un rapport de fin CSV. Ce rapport présente les objets, les codes de réussite ou d'échec de la réplication, les résultats et les descriptions. Pour plus d'informations sur le suivi des tâches et les rapports d'achèvement, consultezRapports de fin de tâche.

Pour obtenir la liste des codes d'échec de réplication et leur description, consultezRaisons de l'échec de la réplication Amazon S3.

Pour plus d'informations sur la résolution des problèmes liés à la réplication par lots, consultezErreurs de réplication par lot.

Démarrer avec la réplication par lot

Pour en savoir plus sur l'utilisation de la réplication par lot, consultez Tutoriel : Réplication d'objets existants dans vos compartiments Amazon S3 avec la réplication par lot S3.