大規模管理數十個至數十億個物件

S3 Batch Operations 是一項 Amazon S3 資料管理功能,讓您只要在 Amazon S3 管理主控台按幾下滑鼠,或使用單一 API 請求,就能大規模管理數十億個物件。您可以使用此功能,對物件中繼資料和屬性進行變更,或執行其他儲存管理任務 (像是在儲存貯體間複製或複寫物件、取代物件標籤組、修改存取控制和從 S3 Glacier 還原存檔物件),而不需為了執行這些任務,耗費數月的時間來開發自訂應用程式。

S3 Batch Operations

S3 Batch Operations 為受管型解決方案,可執行大規模複製及標籤物件等儲存動作,用於單次或重複發生的批次工作負載。S3 Batch Operations 能透過單一請求,對數十億個物件和數 PT 的資料執行動作。要在 S3 Batch Operations 中執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 能讓您目前使用中的任何事件導向架構更為完善。對於新物件,很適合使用 S3 事件和 Lambda 函數來轉換檔案類型、建立縮圖、執行資料掃描,以及執行其他操作。例如,當需要先將影像上傳至 S3 時,客戶可使用 S3 事件和 Lambda 函數為原始相片建立尺寸更小、低解析度的版本。S3 Batch Operations 提供簡單的機制,能對現有物件執行相同動作,補足現有事件導向工作流程的不足之處。

運作方式:S3 Batch Operations

Amazon S3 Batch Operations 運作方式圖表

要在 S3 Batch Operations 中執行工作,您應建立任務。任務應包含物件清單、要執行的動作,以及您為該操作類型指定的參數集合。您可在 S3 Batch Operations 中一次建立並執行多個任務,或視需要使用任務優先級定義每個任務的優先順序,並確保最關鍵的任務為優先。S3 Batch Operations 也可管理重試作業、追蹤進度、傳送完成通知、產生報告,以及傳遞有關所有變更或已執行工作的事件到 AWS CloudTrail。

S3 Batch Operations 教學

客戶

  • Teespring

    Teespring 創立於 2011 年,該公司允許使用者在線上建立及銷售自訂的隨需產品。Teespring 內的每件自訂商品都需要多重資產,他們在 Amazon S3 上存放的資料量有好幾 TB。

    Amazon S3 Batch Operations 藉由使用 Amazon S3 的 Glacier 儲存類別,協助我們將儲存最佳化。我們使用自己的儲存中繼資料,針對能夠移到 Amazon S3 Glacier 的物件建立批次。Amazon S3 Glacier 為我們省下 80% 以上的儲存成本。我們總是在找機會建立自動化的儲存管理,現在有了 S3 Batch Operations,我們幾分鐘內便能管理好數百萬個物件。

    Teespring 工程部副總裁 James Brady
  • Capital One

    Capital One 是一家由金融和技術結合創立的銀行,也是美洲知名度最高的品牌之一。Capital One 使用 Amazon S3 Batch Operations 在兩個 AWS 區域之間複製資料,藉此提高其資料備援能力,並將這兩個位置之間的資料足跡標準化。

    有了 Amazon S3 Batch Operations,只要建立一個任務,幾百萬個物件只要花幾小時就能完成複製,而過去可要花上好幾個月才能完成。我們使用 Amazon S3 的庫存報告,它能提供我們儲存貯體中物件的清單,作為 Amazon S3 Batch Operations 任務的輸入。Amazon S3 很方便用於複製資料、提供進度更新,以及在任務完成後提供稽核報告。這項功能為我們團隊省下好幾週的人工作業時間,將如此大規模的資料傳輸變成常態性的工作。

    Capital One 軟體工程部副總裁 Franz Zemen
  • ePlus

     

    ePlus 為 AWS 進階諮詢合作夥伴,該公司與客戶合作,將其 IT 環境優化,並使用 S3 Batch Operations 之類的解決方案為客戶節省時間和金錢。

    S3 Batch Operations 簡直神奇,它不只幫助我們其中一家客戶縮短時間、降低複雜度、減少整合各項 S3 操作的繁雜手續、排程任務,然後透過簡單易用的主控台呈現資訊,同時也協助客戶解決一些棘手的使用案例,S3 Batch Operations 只花了一點時間便完成,我認為我們光靠自己是做不到的。
     
    例如,S3 Batch Operations 很快便在同一帳戶內橫跨區域複製 200 萬個以上的物件,同時還保持中繼資料完好無缺。該解決方案運作流暢,能跨帳戶執行類似任務,且最重要的,它能產生完成報告,自動篩選並區別針對 4 億個物件的成功和失敗操作,讓使用者能輕鬆在同一個檔案中處理失敗的操作。

    David Lin,ePlus 資深解決方案架構師暨 AWS 認證專家