Rozmawiałem z @bernhardsson o stworzeniu dostawcy infrastruktury natywnej dla AI od podstaw: "Kiedy zajmowałem się uczeniem maszynowym w Spotify, 90% pracy polegało po prostu na budowaniu infrastruktury, a nie aplikacji. A tradycyjna infrastruktura nie jest stworzona do szybkich pętli zwrotnych. Kiedy budujesz z AI, naprawdę irytujące jest testowanie lokalnie, a potem wdrażanie do produkcji. Możesz podzielić to na dwa środowiska, ale wtedy napotykasz problem przechodzenia między nimi. To nie był problem przed AI. Ale teraz masz GPU i bardzo duże modele, które zajmują dużo czasu na załadowanie. Więc ten krok inicjalizacji zajmuje bardzo dużo czasu. Stworzyliśmy @modal, aby umożliwić szybkie pętle zwrotne. Mogę nacisnąć enter i natychmiast uruchomić w chmurze. To również dobrze sprawdza się w uruchamianiu aplikacji AI w chmurze. Ponieważ żaden tradycyjny dostawca chmury nie ma zdolności do obsługi dynamicznego skalowania GPU potrzebnego do uruchamiania inferencji. Ostatecznie stworzyliśmy całkowicie nowego dostawcę chmury, natywnego dla AI."