大規模なイノベーションのパワーAWSがAIインフラストラクチャの課題にどのように取り組んでいるか

生成的AIが企業の運営方法を変え続け、ネットの新しいイノベーションを開発し続けるにつれて、AIモデルのトレーニングと展開のインフラストラクチャの需要は指数関数的に成長しました。従来のインフラストラクチャアプローチは、最新のAIワークロードの今日の計算要件、ネットワークの要求、回復力のニーズに対応するのに苦労しています。 AWSでは、組織が実験的なAIプロジェクトから大規模な生産展開に移行するにつれて、テクノロジーの状況全体にわたって変革が見られます。このシフトには、セキュリティ、信頼性、費用対効果を維持しながら、前例のないパフォーマンスを提供できるインフラストラクチャが必要です。そのため、AIワークロード専用に設計されたネットワーキングイノベーション、専門的な計算リソース、回復力のあるインフラストラクチャに多額の投資を行ってきました。 サージメーカーAIによるモデルの実験とトレーニングの加速 AIインフラストラクチャ戦略へのゲートウェイはAmazon Sagemaker AIです。これは、実験を合理化し、エンドツーエンドモデル開発ライフサイクルを加速するための専用ツールとワークフローを提供します。この分野での主要な革新の1つは、Amazon Sagemaker HyperPodです。これにより、AIインフラストラクチャの構築と最適化に関与する未分化の重いリフティングが削除されます。 その中核では、Sagemaker HyperPodは、生の計算力に対する従来の強調を超えてインテリジェントで適応的なリソース管理に向けて移動することにより、パラダイムシフトを表しています。高度な回復力の機能が備わっているため、クラスターはフルスタック全体のモデルトレーニング障害から自動的に回復し、並列処理のために数千のアクセラレータ全体でトレーニングワークロードを自動的に分割できます。 トレーニング効率に対するインフラストラクチャの信頼性の影響は重要です。たとえば、16,000チップクラスターでは、毎日のノード障害率が0.1％減少するごとに、クラスターの生産性が4.2％向上します。16,000H100 GPUクラスターの1日あたり最大$ 200,000の潜在的な節約に翻訳されます。この課題に対処するために、最近、HyperPodで管理された階層化チェックポイントを導入し、自動データ複製を使用して高性能チェックポイントストレージのCPUメモリを活用しました。このイノベーションは、回復時間の速度を高めるのに役立ち、従来のディスクベースのアプローチと比較して費用対効果の高いソリューションです。 今日の最も人気のあるモデルで作業する人のために、HyperPodは、Openai GPT-Oss、Deepseek R1、Llama、Mistral、Mixtralのサポートなど、30を超えるキュレーションされたモデルトレーニングレシピも提供しています。これらのレシピは、トレーニングデータセットの読み込み、分散トレーニング技術の適用、インフラストラクチャの障害からのチェックポイントと回復のためのシステムの構成などの重要な手順を自動化します。また、Jupyter、VLLM、Langchain、MLFlowなどの人気のあるツールをサポートすることで、ファンデーションモデルのトレーニングと推論ワークロードをスケーリングする際に、コンテナ化されたアプリとスケールクラスターを動的に管理できます。 ボトルネックの克服：ネットワークパフォーマンス 組織がAIイニシアチブを概念実証から生産まで拡大するにつれて、ネットワークのパフォーマンスは、成功をもたらすか、または成功を破ることができる重要なボトルネックになることがよくあります。これは、マイナーなネットワークの遅延でさえ、時間または数週間をトレーニング時間に追加し、コストを大幅に増やすことができる大きな言語モデルをトレーニングする場合に特に当てはまります。 2024年、ネットワーキング投資の規模は前例のないものでした。私たちは私たちをサポートするために300万を超えるネットワークリンクをインストールしました 最新のAIネットワークファブリック、または10P10Uインフラストラクチャ。 10マイクロ秒未満のサーバー間で10マイクロ秒の帯域幅のペタビットを配信しながら20,000を超えるGPUをサポートしながら、このインフラストラクチャにより、組織は以前は非実用的または信じられないほど高価だった大規模なモデルをトレーニングできます。これを視野に入れると、以前は数週間かかっていたものが数日で達成され、企業がより速く反復し、AIの革新をより早く顧客にもたらすことができます。 このネットワークアーキテクチャの中心にあるのは、革新的なスケーラブルな意図駆動型ルーティング（SIDR）プロトコルと弾性ファブリックアダプター（EFA）です。 SIDRは、ネットワークの混雑または障害を検出し、1秒以内に応答すると、従来の分散ネットワーキングアプローチよりも速くデータを検出したときにデータを即座に再ルーティングできるインテリジェントなトラフィック制御システムとして機能します。 AIの加速コンピューティング …