💥 Anunțarea GDPval, o nouă evaluare care măsoară performanța modelului pentru sarcini din lumea reală valoroase din punct de vedere economic în 44 de ocupații.

Evaluările sunt ca testele pentru un model – la școală ai teste de matematică, teste de ortografie, teste de istorie. Facem deja multe pentru a ne testa modelele pe cai putere brut.

Scopul GDPval este de a testa sarcinile pe care profesioniștii le fac zilnic - luând în context și creând rezultate precum documente, diapozitive, diagrame și foi de calcul, în ocupații precum imobiliare, guvern, asistență socială, inginerie mecanică, contabilitate, asistență medicală, servicii pentru clienți, consultanță financiară și multe altele.

Cele mai bune modele (GPT-5, Claude, Gemini) nu înving încă experții din industrie, dar se apropie destul de mult - și sunt mai rapide și mai ieftine.

Și felicitări @tejalpatwardhan și echipei pentru munca incredibilă la GDPval!