A equipe de Yann LeCun está continuamente avançando na JEPA. Seu novo estudo revela que o termo anti-colapso em Joint Embedding Predictive Architectures (JEPAs) faz mais do que apenas evitar representações triviais - ele estima implicitamente a densidade de dados. Isso significa que qualquer JEPA treinado (por exemplo, I-JEPA, DINOv2 ou MetaCLIP) pode calcular probabilidades de amostra de forma fechada usando seu Jacobian - permitindo a curadoria de dados, detecção de outliers e estimativa de densidade gratuitamente. Com base na descoberta, eles introduzem o JEPA-SCORE: transformando codificadores auto-supervisionados em estimadores de densidade eficientes e baseados em teoria - sem necessidade de retreinamento.