Forskning av Dr. Yu Sun: Fremme AI med hyperbolsk databehandling Dr. Yu Sun, sammen med forskere fra Stanford, UC Berkeley, UCSD og UT Austin, flytter grensen for generativ AI ved å bruke Hyperbolic Labs' GPU-infrastruktur. To banebrytende prosjekter: minuttlang videogenerering og adaptive RNN-er. 🧵

Minuttlang videogenerering 🎥 De fleste videomodeller som Sora og Veo er på ~20-tallet. Suns team introduserte Test-Time Training (TTT)-lag – adaptive nevrale tilstander som utvikler seg ved slutning – noe som gjør 1-minutts videoer fra en enkelt forespørsel mulig uten etterredigering.

Infra og resultater > 256× NVIDIA H100s via @hyperbolic_ai > Modell: 5B param CogVideo-X > Kontekstlengde: 300 000 tokens > kjøretid: 50 GPU-timer > Datasett: 7 timers storyboardede tegneserier > +34 Elo vs Mamba 2 grunnlinje > papir 📄

RNN-er med uttrykksfulle skjulte tilstander 🔁 Standard RNN-er forringes utover 16k tokens. Dr. Suns team bygde TTT-Linear og TTT-MLP – skjulte tilstander som er lærbare nevrale nettverk. Disse tilpasser seg under inferens ved hjelp av gradientbasert egenveiledning.

Resultater > Kontekstlengde: 32 000 tokens > modellskala: 125M til 1.3B parametere > kjøretidshastighet: 5× via optimalisering av to former > Lineær tid, konstant minne > overgår eller matcher Transformer, Mamba, DeltaNet > Kode:

Hyperbolsk infrastruktur = Forskningsmuliggjører Hyperbolics stabile H100-klynger med høy gjennomstrømning støttet 300k-token-behandling, vedvarende miljøer for optimalisering av indre sløyfe og skalerbare ressurser for FLOP-matchede eksperimenter.

«Hyperbolics H100 GPUer og tjenester ga påliteligheten som gjorde det mulig for oss å prototype forskningen vår i testtidstrening. Infrastrukturen deres gjorde det enklere å skalere modellene våre for å generere videoer på ett minutt fra tekststoryboards. Vi var i stand til å fokusere på forskning i stedet for å håndtere infrastrukturproblemer.» – Dr. Yu Sun

Fremtiden for generativ AI og sekvensmodellering er her. Med TTT-lag og skalerbar databehandling låses nye grenser opp. Lei on-demand GPUer nå på Sjekk ut hele bloggen: