Gestisci da decine a miliardi di oggetti su larga scala
S3 Batch Operations è una funzionalità di gestione dei dati di Amazon S3 che consente di gestire miliardi di oggetti su larga scala con pochi clic nella console di gestione di Amazon S3 o con una singola richiesta API. Con questa funzionalità puoi apportare modifiche ai metadati e alle proprietà degli oggetti o eseguire altre attività di gestione dell'archiviazione, come copiare o replicare oggetti tra i bucket, sostituire i set di tag degli oggetti, modificare i controlli di accesso e ripristinare gli oggetti archiviati da S3 Glacier, evitando di passare mesi a sviluppare le applicazioni personalizzate per eseguire tali attività.
S3 Batch Operations
S3 Batch Operations è una soluzione gestita per effettuare azioni di storage come copiare e taggare oggetti su larga scala, sia per singole azioni o per carichi di lavoro in batch. S3 Batch Operations può effettuare azioni su miliardi di oggetti e petabyte di dati con un’unica richiesta. Per svolgere un lavoro su S3 Batch Operations, devi creare un processo. Il processo consiste nella lista di oggetti, le azioni da effettuare e il set di parametri specificati a seconda del tipo di operazione. Su S3 Batch Operations puoi creare ed eseguire più processi in contemporanea, o stabilire a piacimento la priorità dei processi, in modo che le attività più importanti vengano svolte prima. Inoltre, S3 Batch Operations gestisce nuovi tentativi, monitora il progresso, invia notifiche di completamento, genera report e distribuisce eventi ad AWS CloudTrail per tutte le modifiche effettuate e tutte le attività eseguite.
S3 Batch Operations integra tutte le architetture event-driven eseguibili ad oggi. Per i nuovi oggetti, l’utilizzo degli eventi S3 e delle funzioni Lambda è l’ideale per convertire file, creare anteprime, scansionare dati e svolgere altre operazioni. Per esempio, i clienti usano gli eventi S3 e le funzioni Lambda per creare versioni di foto in raw di dimensioni inferiori e a bassa risoluzione, quando le immagini vengono caricate per la prima volta su S3. S3 Batch Operations integra questi workflow event-driven con un semplice meccanismo che permette di effettuare le stesse azioni anche sugli oggetti già esistenti.
Come funziona: Operazioni in batch S3
Per svolgere un lavoro su S3 Batch Operations, devi creare un processo. Il processo consiste nella lista di oggetti, le azioni da effettuare e il set di parametri specificati a seconda del tipo di operazione. Su S3 Batch Operations puoi creare ed eseguire più processi in contemporanea, o stabilire a piacimento la priorità dei processi, in modo che le attività più importanti vengano svolte prima. Inoltre, Operazioni in batch S3 gestisce nuovi tentativi, monitora il progresso, invia notifiche di completamento, genera report e distribuisce eventi ad AWS CloudTrail per tutte le modifiche effettuate e tutte le attività eseguite.
Tutorial su Operazioni in batch S3
Clienti
-
Teespring
Teespring è stata fondata nel 2011 e permette agli utenti di creare e vendere online prodotti on demand. Poiché ogni articolo di merce personalizzata richiede molte risorse interne, Teespring archivia petabyte di dati su Amazon S3.
Operazioni in batch Amazon S3 ci ha aiutato ad ottimizzare il nostro storage grazie alle classi di archiviazione Glacier di Amazon S3. Utilizzavamo i metadati del nostro storage per creare batch di oggetti che potevamo spostare su Amazon S3 Glacier. Con Amazon S3 Glacier abbiamo risparmiato più dell’80% dei nostri costi di storage. Siamo sempre alla ricerca di opportunità per automatizzare la gestione dello storage e con Operazioni in batch S3, possiamo gestire milioni di oggetti in pochi minuti.
James Brady, Vice presidente progettazione - Teespring -
Capital One
Capital One è una banca fondata al crocevia tra finanza e tecnologia, nonché uno dei brand americani più riconosciuti. Capital One usava Amazon S3 Batch Operations per copiare i dati tra due diverse regioni AWS in modo da aumentare la ridondanza dei dati e standardizzarne le tracce digitali tra le due regioni.
Con Operazioni in batch Amazon S3 abbiamo creato un processo per copiare milioni di oggetti in qualche ora, operazione che solitamente richiedeva mesi. Abbiamo usato i report d’inventario di Amazon S3, che fornivano una lista di oggetti nel nostro bucket, come input per il nostro processo Amazon S3 Batch Operations. Amazon S3 era utile per copiare i dati, fornire aggiornamenti e, a processo ultimato, il report dell’audit. Questa funzione ha fatto risparmiare al nostro team settimane di sforzi manuali e ha reso il trasferimento di dati su larga scala un gesto di routine.
Franz Zemen, Vice presidente, Software Engineering - Capital One -
ePlus
ePlus, un partner AWS Advanced di consulenza, lavora con i clienti per ottimizzare il loro ambiente IT e utilizza soluzioni, come S3 Batch Operations, per far risparmiare ai clienti tempo e denaro.
Operazioni in batch S3 è semplicemente fantastico. Non solo ha aiutato un nostro cliente a ridurre il tempo, la complessità e la fatica di dover raccogliere una vasta selezione di operazioni S3, programmare i processi e poi trascrivere le informazioni in una dashboard pronta per essere usata, ma ha anche aiutato a contrastare la frustrazione derivante dall’utilizzo in alcuni casi, che non saremmo riusciti a contrastare in una frazione di tempo così breve.
Per esempio, S3 Batch Operations ha reso rapida la copia di oltre 2 milioni di oggetti nelle regioni dello stesso account, salvaguardando i metadati. La soluzione ha funzionato perfettamente grazie all’esecuzione di mansioni di questo tipo con account diversi e, in particolare, ha generato un report di completamento che automaticamente passava al vaglio e separava le operazioni avvenute con successo da quelle fallite su oltre 400 milioni di oggetti, consentendo una più facile gestione delle operazioni fallite in un file singolo.David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus