Khám phá @nvidia 🐰 Kiến trúc GPU Hopper so với ⚙️ Blackwell—những bước nhảy vọt liên tiếp trong sức mạnh tính toán và kết nối cho các tác vụ AI của bạn👇

🐰 Hopper (H100 & H200) giới thiệu Tensor Cores thế hệ thứ 4 + một FP8 Transformer Engine, mang lại tốc độ đào tạo nhanh hơn tới 9× và suy diễn nhanh hơn 30× so với A100. ⚙️ Blackwell (B200)—giao hàng vào cuối năm 2024—kết hợp hai die qua một NV-HBI 10 TB/s, thêm FP4, và sử dụng NVLink-5 cho suy diễn cụm lên tới 30×.

@nvidia 🐰 Thông số Hopper Tensor Cores: hỗn hợp FP8/FP16/TF32 Bộ nhớ: - H100 → 80 GB HBM3 @ 3.35 TB/s - H200 → 141 GB HBM3e @ 4.8 TB/s NVLink: lên đến 900 GB/s mỗi GPU

@nvidia 🐰 Hopper đang hoạt động Điểm chuẩn cho thấy H200 cung cấp năng lượng cho suy luận Llama-2 70B nhanh hơn 45–100% so với H100. ⚠️ Cả hai đều chứng kiến sự khủng hoảng nguồn cung vào năm 2023–25. 💻 Trên đám mây của Hyperbolic: Máy ảo H100 & cụm kim loại trần với Ethernet + InfiniBand bắt đầu từ $ 1,49 / giờ. H200 & B200 thông qua báo giá tức thì.

@nvidia ⚙️ đổi mới của Blackwell - Thiết kế chiplet (TSMC 4NP, bóng bán dẫn 208 B, 10 TB/s NV-HBI) - Động cơ biến áp thế hệ thứ 2: FP4 + FP8 nâng cao - NVLink-5: 18 liên kết @ tổng cộng 1,8 TB/giây - Công cụ giải nén: GPU CPU↔800 GB/s - RAS đầy đủ & điện toán bí mật

📊 So sánh Hiệu suất H100 SXM: 80 GB @ 3.35 TB/s, 3.96 PFLOPS (FP8), 1.98 PFLOPS (FP16), 67 TFLOPS (FP32), NVLink 900 GB/s, 700 W H200 SXM: 141 GB @ 4.8 TB/s, cùng PFLOPS/TFLOPS tính toán, NVLink 900 GB/s, 700 W HGX B200: 180 GB @ 7.7 TB/s, 9 PFLOPS (FP8), 4.5 PFLOPS (FP16), 75 TFLOPS (FP32), NVLink 1.8 TB/s, 1000 W

@nvidia ❓ FLOP là gì? 1 phép toán dấu phẩy động (thêm / mul) 1 TFLOP = 10¹² hoạt động / giây 1 PFLOP = 10¹⁵ hoạt động / giây = 1000× một TFLOP Các số liệu này cho thấy GPU xử lý toán học khổng lồ đằng sau đào tạo AI và HPC nhanh như thế nào.

@nvidia 🔚 Kết thúc: 🐰 Hopper thiết lập tiêu chuẩn với các đường ống hỗn hợp chính xác và không đồng bộ FP8. ⚙️ Blackwell thúc đẩy thế hệ tiếp theo với FP4, nhiều bộ nhớ hơn, NVLink-5. H100 vẫn là con ngựa làm việc — tiền thuê bằng $ 1.49 / giờ. H200 & B200 có sẵn theo yêu cầu qua

@nvidia Đọc toàn bộ bài viết tại: