oletko kyllästynyt Anthropicin viikoittaisiin rajoituksiin ja nörttimalleihin? yhdellä komennolla ja muutamalla GPU:lla, voit reitittää Claude-koodin omaan paikalliseen LLM:ään Osta grafiikkasuoritin P.S. Koko video-opetusohjelma kiinnitetty profiilini yläosaan

Rakensin yksinkertaisen työkalun, joka tekee Claude Code toimii minkä tahansa paikallisen LLM:n kanssa Koko demo: > vLLM palvelee GLM-4.5 Airia 4x RTX 3090s -laitteella > Claude-koodin luonti koodi + asiakirjat välityspalvelimeni kautta > 1 Python-tiedosto + .env käsittelee kaikki pyynnöt > nvtop näyttää grafiikkasuorittimen reaaliaikaisen kuormituksen > miten kaikki toimii Osta grafiikkasuoritin

Vaiheittaiset LLM-suunnitteluprojektit jokainen projekti = yksi käsite, joka on opittu kovalla (eli todellisella) tavalla Tokenisointi ja upotukset > rakenna tavuparikooderi + kouluta oma alasanastosi > kirjoittaa "token-visualisoinnin" sanojen/lohkojen yhdistämiseksi tunnuksiin > yksi kuuma vs. opittu upotus: juonen kosinietäisyydet Sijaintiin liittyvät upotukset > klassinen sinimuotoinen vs opittu vs RoPE vs ALiBi: esittely kaikki neljä > animoida lelusarjaa, joka on "sijaintikoodattu" 3D:nä > asentoivat – katso, kuinka huomio romahtaa Itsehuomio ja monipäinen huomio > käsijohdon piste-tuotehuomio yhdelle tokenille > mittakaavasta usean pään lämpökarttoihin, piirrä henkeä kohden painolämpökartat > peittää tulevat tokenit, tarkistaa kausaalisen ominaisuuden muuntajat, QKV ja pinoaminen > pinota Attention-toteutukset LayerNormilla ja jäännöksillä → yhden lohkon muuntajaa > yleistää: n-lohko "minimuotoilija" lelutiedoissa > analysoi Q, K, V: vaihda ne, riko ne, katso mikä räjähtää Näytteenottoparametrit: temp/top-k/top-p > koodata samplerin kojelauta – viritä interaktiivisesti temp/k/p ja sample-lähdöt > juonen entropia vs. tuotoksen monimuotoisuus, kun pyyhkäiset parameja > ydinlämpötila = 0 (argmax): katso toisto KV-välimuisti (nopea päättely) > tallentaa ja käyttää uudelleen KV-tiloja; Mittaa nopeutta verrattuna välimuistin puuttumiseen > rakentaa "välimuistin osuma/ohi" -visualisointi token-virroille > profiilin välimuistin kustannukset pitkille ja lyhyille sarjoille Pitkän kontekstin temppuja: Infini-Attention / Liukuva ikkuna > toteuttaa liukuikkunan huomion; Pitkien dokumenttien menetyksen mittaaminen > vertailevat "muistitehokkaita" (uudelleenlaskenta, flash) variantteja > juonen hämmennys vs. kontekstin pituus; Kontekstin tiivistyspisteen etsiminen Asiantuntijoiden sekoitus (MoE) > koodaa 2-asiantuntijainen reititinkerros; Reititä tunnukset dynaamisesti > piirtää asiantuntijan käytön histogrammit tietojoukon päälle > simuloida harvoja/tiheitä vaihtosopimuksia; mitata FLOP-säästöjä Ryhmitelty kyselyn huomio > muuntaa minimuodostimen ryhmitellyksi kyselyasetteluksi > mittaa nopeutta verrattuna vaniljan monipäähän suurella erällä > vähentää ryhmien lukumäärää, piirtää latenssia Normalisointi ja aktivointi > käsin toteutettava LayerNorm, RMSNorm, SwiGLU, GELU > kumpikin – mitä tapahtuu harjoittelun/testin menetykselle? > aktivointijakaumien piirtäminen kerroksittain Harjoittelua edeltävät tavoitteet > juna naamioitu LM vs kausaalinen LM vs etuliite LM lelutekstissä > kaavion häviökäyriä; vertaa, kumpi oppii "englannin" nopeammin > luoda näytteitä jokaisesta – huomaa omituisuuksia Finetuning vs käskyjen viritys vs RLHF > hienosäätää pientä mukautettua tietojoukkoa > ohjevirityksen ennakoimalla tehtäviä ("Yhteenveto: ...") > RLHF: hakkeroi palkitsemismalli, käytä PPO:ta 10 askeleeseen, juonen palkkio Skaalauslait ja mallikapasiteetti > kouluttaa pieniä, pieniä, keskikokoisia malleja – juonen menetys vs. koko > seinäkellon aika, VRAM, suorituskyky > ekstrapoloi skaalauskäyrän – kuinka "tyhmäksi" voit mennä? Kvantisointi > koodi PTQ & QAT; vienti GGUF/AWQ:lle; Juonen tarkkuuden lasku Päättely-/harjoituspinot: > siirtää mallin HuggingFacesta Deepspeediin, vLLM:ään, ExLlamaan >profiilin suorituskyky, VRAM, latenssi kaikissa kolmessa Synteettinen data > luoda lelutietoja, lisätä kohinaa, dedupella ja luoda eval-jakoja > visualisoida mallin oppimiskäyriä todellisessa vs. syntetisaattorissa Jokainen projekti = yksi ydinoivallus. rakentaa. juoni. tauko. toistaa. > älä jää jumiin liian pitkäksi aikaa teoriassa > koodaa, virheenkorjausta, poista, jopa meemi kaavioitasi lol > viimeistele jokainen ja julkaise oppimasi Tuleva itsesi kiittää sinua myöhemmin