Ho parlato con @bernhardsson della creazione di un fornitore di infrastruttura nativo per l'AI da zero: "Quando facevo machine learning su Spotify, il 90% del lavoro consisteva semplicemente nel costruire l'infrastruttura, non l'applicazione. E l'infrastruttura tradizionale non è costruita per cicli di feedback rapidi. Quando costruisci con l'AI, è davvero fastidioso testare localmente e poi distribuire in produzione. Puoi dividerlo in due ambienti, ma poi ti trovi di fronte al problema di passare da uno all'altro. Questo non era un problema prima dell'AI. Ma ora, hai GPU e modelli molto grandi che richiedono molto tempo per essere caricati. Quindi questo passaggio di inizializzazione richiede molto tempo. Abbiamo creato @modal per abilitare cicli di feedback rapidi. Posso premere invio e far partire immediatamente nel cloud. Questo si presta anche bene all'esecuzione di app AI nel cloud. Perché nessun fornitore di cloud tradizionale ha la capacità di gestire la scalabilità dinamica delle GPU necessaria per eseguire l'inferenza. Alla fine abbiamo creato un fornitore di cloud completamente nuovo, nativo per l'AI."