Ponořte se do architektur GPU @nvidia 🐰 Hopper vs ⚙️ Blackwell – postupné skoky ve výpočetním výkonu a propojení pro vaše pracovní zátěže👇 AI

🐰 Hopper (H100 & H200) představil 4. generaci jader Tensor + FP8 Transformer Engine, což poskytuje až 9× rychlejší trénink a 30× rychlejší inferenci oproti A100. ⚙️ Blackwell (B200) – dodávaný koncem roku 2024 – spáruje dva čipy přes 10 TB/s NV-HBI, přidá FP4 a použije NVLink-5 pro až 30× odvození clusteru.

🐰 @nvidia Specifikace násypky Tensor jádra: smíšená FP8/FP16/TF32 Paměť: - H100 → 80 GB HBM3 @ 3,35 TB/s - H200 → 141 GB HBM3e @ 4,8 TB/s NVLink: až 900 GB/s na GPU

🐰 @nvidia Hopper v akci Benchmarky ukazují, že H200 pohání Llama-2 70B inferenci o 45–100 % rychleji než H100. ⚠️ V obou případech došlo v letech 2023–25 k poklesu nabídky. 💻 V cloudu Hyperbolic: H100 VMs & bare-metal clustery s Ethernetem + InfiniBand začínající na 1,49 $/hod. H200 & B200 prostřednictvím okamžité nabídky.

⚙️ @nvidia Inovace Blackwell - Čipletový design (TSMC 4NP, 208 B tranzistorů, 10 TB/s NV-HBI) - Transformátorový motor 2. generace: FP4 + vylepšený FP8 - NVLink-5: 18 odkazů @ 1,8 TB/s celkem - Dekompresní motor: 800 GB/s CPU↔GPU - Úplné RAS a důvěrné výpočty

📊 Porovnání výkonu H100 SXM: 80 GB @ 3,35 TB/s, 3,96 PFLOPS (FP8), 1,98 PFLOPS (FP16), 67 TFLOPS (FP32), NVLink 900 GB/s, 700 W H200 SXM: 141 GB @ 4,8 TB/s, stejné výpočetní PFLOPS/TFLOPS, NVLink 900 GB/s, 700 W HGX B200: 180 GB @ 7,7 TB/s, 9 PFLOPS (FP8), 4,5 PFLOPS (FP16), 75 TFLOPS (FP32), NVLink 1,8 TB/s, 1000 W

❓ @nvidia Co je to FLOP? 1 operace s plovoucí desetinnou čárkou (add/mul) 1 TFLOP = 10¹² operací/s 1 PFLOP = 10¹⁵ ops/s = 1000× TFLOP Tyto metriky ukazují, jak rychle GPU zpracovávají masivní matematiku stojící za školením a HPC v oblasti umělé inteligence.

🔚 @nvidia Závěr: 🐰 Zásobník nastavil laťku s FP8 smíšenou přesností a asynchronními potrubími. ⚙️ Blackwell prosazuje novou generaci s FP4, více pamětí, NVLink-5. H100 zůstává tahounem – nájemné za 1,49 USD/hod. H200 & B200 jsou k dispozici na vyžádání prostřednictvím

@nvidia Celý článek si můžete přečíst na: