Управляйте десятками или миллиардами объектов в нужном масштабе
S3 Batch Operations – это возможность управления данными Amazon S3, с помощью которой можно администрировать миллиарды объектов при любом масштабе несколькими щелчками мыши в консоли управления Amazon S3 или один запрос API. С помощью этой функции можно вносить изменения в метаданные и свойства объектов и выполнять другие операции по управлению хранилищем, такие как копирование или репликация объектов из одной корзины в другую, замена набора тегов объекта, изменение ограничений доступа и восстановление архивных объектов из S3 Glacier (вместо того, чтобы тратить месяцы на разработку собственных приложений для решения подобных задач).
S3 Batch Operations
S3 Batch Operations – это управляемое решение для выполнения операций с хранилищем, таких как копирование объектов и сопровождение их тегами при любом масштабе; оно подходит как для разовых задач, так и для повторяющихся пакетных рабочих нагрузок. Благодаря S3 Batch Operations операцию с миллиардами объектов и петабайтами данных можно выполнить за один запрос. Для работы в S3 Batch Operations нужно создать задание. Задание состоит из перечня объектов, действия, которое необходимо совершить, и набора параметров, задаваемых пользователем для операции этого типа. В S3 Batch Operations можно создать и выполнить множество заданий одновременно или же с помощью приоритетов настроить порядок заданий, чтобы самые важные операции выполнялись в первую очередь. Возможность S3 Batch Operations также управляет повторными попытками, отслеживает ход выполнения, уведомляет о завершении заданий, составляет отчеты и фиксирует события, соответствующие каждому совершенному изменению и выполненному заданию, в AWS CloudTrail.
S3 Batch Operations станет отличным дополнением для любой существующей архитектуры, управляемой событиями. Когда в корзине появляются новые объекты, с помощью событий S3 и функций Lambda можно без труда преобразовывать типы файлов, создавать миниатюры, считывать данные и выполнять другие операции. Например, с помощью событий S3 и функций Lambda пользователи могут создавать версии исходных фотографий меньшего размера и разрешения, когда изображения впервые загружаются в S3. Для таких существующих управляемых событиями рабочих процессов решение S3 Batch Operations предоставляет простой способ выполнения этих же операций и с существующими объектами.
Пакетные операции S3: как это работает
Для работы в S3 Batch Operations нужно создать задание. Задание состоит из перечня объектов, действия, которое необходимо совершить, и набора параметров, задаваемых пользователем для операции этого типа. В S3 Batch Operations можно создать и выполнить множество заданий одновременно или же с помощью приоритетов настроить порядок заданий, чтобы самые важные операции выполнялись в первую очередь. Пакетные операции S3 также управляют повторными попытками, отслеживают ход выполнения, уведомляют о завершении заданий, составляют отчеты и фиксируют события, соответствующие каждому совершенному изменению и выполненному заданию, в AWS CloudTrail.
Учебные пособия по S3 Batch Operations
Клиенты
-
Teespring
Компания Teespring была основана в 2011 году. Она предоставляет платформу для создания и продажи оригинальных продуктов по требованию через Интернет. Продажа каждого оригинального изделия затрагивает множество ресурсов на платформе Teespring. Для хранения петабайтов данных эта компания выбрала Amazon S3.
Благодаря Пакетным операциям Amazon S3 мы привели хранилище в оптимальное состояние, для чего воспользовались хранилищем класса Amazon S3 Glacier. На основе метаданных нашего хранилища мы создали пакеты объектов, которые можно было перемещать в Amazon S3 Glacier. Хранилище Amazon S3 Glacier позволило нам сократить затраты на хранение данных более чем на 80 %. Мы постоянно ищем возможности автоматизировать управление хранилищем, и благодаря Пакетным операциям S3 управление миллионами объектов становится делом нескольких минут.
Джеймс Брейди, вице‑президент по разработке, Teespring -
Capital One
Банк Capital One был основан на стыке сферы финансовых сервисов и современных технологий. Это один из самых узнаваемых брендов США. Capital One использовал Amazon S3 Batch Operations для копирования данных из одного региона AWS в другой с целью создания резервных копий этих данных и приведения объема данных в двух рассматриваемых регионах к единому стандарту.
С помощью Пакетных операций Amazon S3 мы создали задание для копирования миллионов объектов за несколько часов, хотя обычно на это уходило несколько месяцев. В наше задание Amazon S3 Batch Operations мы включили содержимое отчета об инвентаризации Amazon S3, в котором были перечислены объекты из нашей корзины. Возможности Amazon S3 помогли нам скопировать данные, информировали о ходе выполнения задания и сформировали аудиторское заключение, когда задание было завершено. Такое решение избавило нашу команду от нескольких недель ручного труда и превратило крупномасштабный перенос данных в рядовую операцию.
Франц Зэмен, вице‑президент по разработке программного обеспечения, Capital One -
ePlus
ePlus, опытный партнер‑консультант AWS, помогает своим клиентам оптимизировать ИТ‑среды и использует такие решения, как S3 Batch Operations, чтобы сэкономить их время и деньги.
Возможности Пакетных операций S3 просто невероятны. Она не только сэкономила время наших клиентов и упростила трудоемкий процесс, требовавший согласовать множество операций S3, спланировать задания и перевести информацию в простой вид для отображения на панели управления. Эта возможность также избавила нас от нервотрепки в нескольких случаях, в которых, по моему мнению, справиться за короткий промежуток времени было нереально. Но благодаря S3 Batch Operations все стало возможным.
К примеру, решение S3 Batch Operations позволило быстро скопировать более 2 миллионов объектов из одного региона в другой в рамках одного аккаунта, и наши метаданные не пострадали. Работа шла безукоризненно: решение выполнило схожие задания в разных аккаунтах и, что самое важное, составило отчет о завершении, в котором операции с 400 миллионами объектов были автоматически поделены на удачные и неудачные. Все операции, которые не удалось выполнить, были помещены в один файл, что упростило дальнейшую работу с ними.Дэвид Лин, старший архитектор решений, обладатель сертификата AWS Certified Professional, ePlus