Ho trascorso anni a lavorare nella strategia in questo esatto settore.
Si scopre che le domande del commentatore di HN sono esattamente quelle giuste da porre.
La risposta a "perché le banche non lo fanno" spiega anche perché sia così dannatamente redditizio: è un mercato a due facce, discusso qui:
In Thinking Machines, il nostro lavoro include la collaborazione con la comunità di ricerca più ampia. Oggi siamo entusiasti di condividere che stiamo costruendo un team vLLM presso @thinkymachines per promuovere vLLM open-source e servire modelli all'avanguardia. Se sei interessato, per favore inviami un DM o contatta @barret_zoph!
Ecco alcuni esempi di ruoli / progetti:
* Ingegnere di inferenza distribuita per supportare modelli su larga scala su GPU Blackwell
* Ingegnere di ottimizzazione PyTorch e modelli per supportare e ottimizzare gli ultimi modelli OSS
* Generalista MLSys per vari aspetti di vLLM