سرور NVIDIA DGX H100

توضیحات

NVIDIA DGX H100: ابرکامپیوتر هوش مصنوعی برای پیشگامان آینده

سیستم NVIDIA DGX H100 یک ابرکامپیوتر هوش مصنوعی است که برای سنگین‌ترین پردازش‌های AI، آموزش مدل‌های یادگیری عمیق و استنتاج (Inference) در مقیاس بزرگ ساخته شده است. این سیستم با داشتن ۸ پردازنده گرافیکی (GPU) قدرتمند NVIDIA H100 که هر کدام به ۸۰ گیگابایت حافظه فوق سریع HBM3 مجهز هستند، و از طریق اتصال پرسرعت NVLink به یکدیگر متصل شده‌اند، به گزینه‌ای بی‌رقیب برای اجرای سریع و کارآمد مدل‌های عظیم هوش مصنوعی تبدیل شده است.

این غول پردازشی از دو پردازنده مرکزی (CPU) مدل Intel Xeon Platinum 8480+ (هر کدام با ۵۶ هسته) و ۲ ترابایت حافظه رم DDR5 بهره می‌برد تا قدرت پردازش و حافظه لازم برای چالش‌برانگیزترین وظایف را فراهم کند. وظیفه ذخیره‌سازی بر عهده ۸ درایو پرسرعت NVMe SSD (هر کدام با ظرفیت ۳.۸۴ ترابایت) است که در مجموع حدود ۳۰ ترابایت فضای ذخیره‌سازی سریع برای مجموعه داده‌های هوش مصنوعی فراهم می‌کند.

DGX H100 با پشتیبانی کامل از محبوب‌ترین فریمورک‌های هوش مصنوعی مانند vLLM، Megatron، DeepSpeed، HuggingFace Transformers، TensorRT-LLM و Triton Inference Server، انعطاف‌پذیری بی‌نظیری را برای محیط‌های تحقیقاتی و تجاری به ارمغان می‌آورد.

شبکه‌بندی این سیستم با استفاده از کارت‌های شبکه پرسرعت ConnectX-7 و فناوری NVLink + InfiniBand برای اتصال چندین سیستم به یکدیگر، فوق‌العاده سریع است. DGX H100 با امکاناتی نظیر بوت امن (Secure Boot)، ماژول TPM 2.0، پشتیبانی از RAID و منابع تغذیه مازاد ۳۰۰۰ واتی، بالاترین سطح از پایداری و امنیت را تضمین می‌کند. این سیستم با سیستم‌عامل NVIDIA DGX OS 6 عرضه می‌شود و کاملاً برای گردش‌کارهای مبتنی بر کانتینر در هوش مصنوعی آماده است.

ویژگی‌های اصلی NVIDIA DGX H100

• قلب تپنده سیستم: ۸ پردازنده گرافیکی NVIDIA HGX H100 SXM5، سازگار با استاندارد RoHS.
• گارانتی و پشتیبانی: ۳ سال گارانتی خدمات و قطعات و ۱ سال پشتیبانی سریع تحت گارانتی محدود.
• پردازنده‌های مرکزی: دو عدد پردازنده قدرتمند Intel Xeon Platinum 8480+ با ۵۶ هسته و فرکانس پایه ۲.۰ گیگاهرتز.
• حافظه سیستم: ۲ ترابایت حافظه رم DDR5-4800 از نوع ECC RDIMM (شامل ۳۲ ماژول ۶۴ گیگابایتی).
• فضای ذخیره‌سازی: حدود ۳۰ ترابایت فضای ذخیره‌سازی NVMe قابل استفاده (شامل ۸ درایو ۳.۸۴ ترابایتی NVMe PCIe Gen4).
• قدرت پردازش گرافیکی:
  • اتصال داخلی ۹۰۰ گیگابایت بر ثانیه بین GPUها از طریق NVLink 4.0 و NVSwitch.
  • مجموعاً ۶۴۰ گیگابایت حافظه گرافیکی HBM3.
  • قدرت پردازشی تا ۶۷ پتافلاپس (با دقت FP8) در کل سیستم.
• شبکه و اتصالات:
  • کارت‌های شبکه ConnectX-7 با قابلیت پشتیبانی از ۲ پورت ۴۰۰ گیگابیتی یا ۸ پورت ۱۰۰ گیگابیتی.
  • فابریک سوئیچ NVIDIA NVLink و InfiniBand برای ساخت کلاسترهای عظیم DGX SuperPOD.
• امنیت و پایداری:
  • بوت امن با UEFI و چیپ امنیتی TPM 2.0.
  • پشتیبانی از RAID نرم‌افزاری (سطوح ۰ و ۱) برای درایوهای سیستم‌عامل.
  • منابع تغذیه مازاد ۳۰۰۰ واتی (با رتبه تیتانیوم) با قابلیت تعویض سریع (Hot-swap).
• نرم‌افزار و فریمورک‌ها:
  • سیستم‌عامل NVIDIA DGX OS 6 با قابلیت مدیریت و ارکستراسیون کانتینرها.
  • پشتیبانی کامل از فریمورک‌های تخصصی مدل‌های زبانی بزرگ (LLM) شامل vLLM، NeMo Megatron، DeepSpeed و… .

توضیحات تکمیلی محصول: استاندارد طلایی زیرساخت هوش مصنوعی

سیستم NVIDIA DGX H100 به عنوان استاندارد طلایی زیرساخت هوش مصنوعی سازمانی شناخته می‌شود و جهشی بی‌سابقه در عملکرد، مقیاس‌پذیری و امنیت ارائه می‌دهد. این سیستم که به طور ویژه به عنوان موتور پردازشی برای مدل‌های زبانی بزرگ (LLMs)، سیستم‌های توصیه‌گر و پردازش‌های علمی سنگین (HPC) طراحی شده، یک راه‌حل کلید در دست (Turnkey) و یکپارچه از سخت‌افزار و نرم‌افزار است که تمام موانع بر سر راه نوآوری در هوش مصنوعی را از بین می‌برد. DGX H100 به دانشمندان داده، محققان و توسعه‌دهندگان این قدرت را می‌دهد که پیچیده‌ترین مسائل محاسباتی جهان را حل کرده و مسیر ایده تا استقرار محصول را کوتاه‌تر از همیشه کنند.

در قلب این سیستم، معماری انقلابی NVIDIA Hopper™ قرار دارد. DGX H100 با ترکیب هشت پردازنده گرافیکی NVIDIA H100 Tensor Core و اتصال پرسرعت نسل چهارم NVLink، یک GPU غول‌پیکر با ۶۴۰ گیگابایت حافظه یکپارچه HBM3 ایجاد می‌کند. این فضای حافظه یکپارچه، برای آموزش مدل‌های عظیمی که در حالت عادی روی یک GPU جا نمی‌شوند، حیاتی است. این پلتفرم همراه با مجموعه نرم‌افزاری NVIDIA AI Enterprise عرضه می‌شود تا محیطی امن، پایدار و با پشتیبانی کامل برای ساخت راهکارهای هوش مصنوعی تجاری فراهم کند. از کشف دارو و مدل‌سازی تغییرات اقلیمی گرفته تا هوش مصنوعی مولد و توسعه خودروهای خودران، DGX H100 ابزاری حیاتی برای سازمان‌هایی است که رهبری موج بعدی هوش مصنوعی را بر عهده دارند.

جدول مشخصات فنی NVIDIA DGX H100

پرسش‌های متداول (FAQ)

۱. تفاوت اصلی بین DGX H100 و نسل قبلی آن، DGX A100، چیست؟ DGX H100 یک جهش نسلی بزرگ محسوب می‌شود. مزایای کلیدی آن شامل معماری جدید NVIDIA Hopper، حافظه سریع‌تر HBM3 (در مقابل HBM2e در A100)، نسل چهارم NVLink با دو برابر پهنای باند، پشتیبانی از PCIe Gen5 و موتور ترنسفورمر (Transformer Engine) جدید است که سرعت پردازش مدل‌های هوش مصنوعی مانند LLMها را به شکل چشمگیری افزایش می‌دهد. این بهبودها منجر به افزایش عملکرد تا ۶ برابر در آموزش و ۳۰ برابر در استنتاج هوش مصنوعی در مقایسه با DGX A100 می‌شود.

۲. سیستم DGX H100 برای چه کسانی مناسب است؟ این سیستم برای شرکت‌های بزرگ، مؤسسات تحقیقاتی پیشرو و استارتاپ‌های متمرکز بر هوش مصنوعی طراحی شده است که نیاز به آموزش و پیاده‌سازی مدل‌های پیشرفته AI در مقیاس بزرگ دارند. DGX H100 برای تیم‌هایی که در زمینه‌های پردازش زبان طبیعی، کشف دارو، سیستم‌های خودران، مدل‌سازی مالی و سایر کاربردهای محاسباتی سنگین فعالیت می‌کنند، ایده‌آل است.

۳. چه نرم‌افزارهایی به همراه DGX H100 ارائه می‌شود؟ این سیستم با سیستم‌عامل NVIDIA DGX OS عرضه می‌شود که بر پایه مجموعه نرم‌افزاری NVIDIA AI Enterprise ساخته شده است. این مجموعه یک پلتفرم کامل و ابری (Cloud-Native) برای هوش مصنوعی و تحلیل داده است که توسط انویدیا بهینه‌سازی و پشتیبانی می‌شود. این نرم‌افزار شامل دسترسی به فریمورک‌های محبوبی مانند PyTorch و TensorFlow و همچنین ابزارهای تخصصی انویدیا مانند TensorRT-LLM، Triton Inference Server و NeMo Megatron است که همگی برای اجرای بی‌نقص روی سخت‌افزار DGX بهینه شده‌اند.

۴. DGX H100 چگونه برای پردازش‌های سنگین‌تر مقیاس‌پذیر است؟ DGX H100 برای مقیاس‌پذیری عظیم مهندسی شده است. با استفاده از کارت‌های شبکه پرسرعت ConnectX-7 و فابریک InfiniBand، چندین سیستم DGX H100 می‌توانند به یکدیگر متصل شده و یک کلاستر NVIDIA DGX SuperPOD را تشکیل دهند. این معماری به سازمان‌ها اجازه می‌دهد ابررایانه‌های هوش مصنوعی با ده‌ها یا صدها سیستم DGX بسازند و قدرت لازم برای آموزش مدل‌های بنیادی با تریلیون‌ها پارامتر را فراهم کنند.