Amazon EC2 UltraClusters

在 EC2 UltraCluster 中部署的 EC2 執行個體與 EFA 網路相互連，以提高分散式訓練工作負載和緊密連接的 HPC 工作負載的效能。P6e-GB200 UltraServer 可提供高達每秒 28.8 TB 的總 EFAv4 聯網。P6-B200 執行個體可提供每秒高達 3.2TB 的 EFAv4 聯網。Trn2 UltraServers 具有每秒 12.8TB 的 EFAv3 聯網。P5en、P5e、P5 和 Trn2 執行個體提供高達 3,200 Gbps；Trn1 執行個體提供高達 1,600 Gbps；而 P4d 執行個體提供高達 400 Gbps 的 EFA 網路。EFA 也與 NVIDIA GPUDirect 遠端直接記憶體存取 (RDMA) (P6-B200、P5en、P5e、P5、P4d) 和 NeuronLink (Trn2、Trn1) 搭配，在具有作業系統旁路功能的伺服器之間啟用低延遲加速器對加速器通訊。

EC2 UltraClusters 使用 FSx for Lustre，這是在最熱門高效能平行檔案系統上建置的全受管共用儲存空間。使用 FSx for Lustre，您可以快速隨需和大規模處理大量資料集，並且提供低於一毫秒的延遲。FSx for Lustre 的低延遲和高輸送量特性已針對 EC2 UltraCluster 上的 DL、生成式 AI 和 HPC 工作負載進行最佳化。FSx for Lustre 可持續為 EC2 UltraCluster 中的 GPU 和 AI 晶片饋送資料，加速最嚴苛的工作負載。這些工作負載包括大型語言模型 (LLM) 訓練、生成式 AI 推論、DL、基因體學和財務風險建模。您也可以透過 Amazon Simple Storage Service (Amazon S3) 存取幾乎無限制且具成本效益的儲存空間。

由 NVIDIA GB200 NVL72 加速，UltraServer 組態的 P6e-GB200 執行個體，在 Amazon EC2 中提供了最高的 GPU AI 訓練和推理性能。

Amazon EC2 P6-B200 執行個體由 NVIDIA Blackwell GPU 加速，提供適用於 AI 訓練、推論和 HPC 的高效能執行個體。

Trn2 執行個體採用 AWS Trainium2 AI 晶片技術，相較於同類型 GPU 為基礎的執行個體，可提升高達 30 至 40% 的價格效能。

P5en 和 P5e 執行個體採用 NVIDIA H200 Tensor Core GPU，可在 Amazon EC2 中為 ML 訓練和 HPC 應用程式提供高效能。P5 執行個體採用 NVIDIA H100 Tensor Core GPU。

P4d 執行個體採用 NVIDIA A100 Tensor Core GPU，可為 ML 訓練和 HPC 應用程式提供高效能。

採用 AWS Trainium AI 晶片，Trn1 執行個體專為高效能 ML 訓練而打造。與其他同類 EC2 執行個體相比，Trn1 執行個體可節省高達 50% 的訓練成本。