Tuo pieni musta laatikko keskellä on koneoppimiskoodia. Muistan lukeneeni Googlen vuoden 2015 Hidden Technical Debt in ML -paperin ja ajatelleeni, kuinka vähän koneoppimissovellus oli todellista koneoppimista. Suurin osa oli infrastruktuuria, tiedonhallintaa ja toiminnan monimutkaisuutta. Tekoälyn kynnyksellä näytti siltä, että suuret kielimallit sisällyttäisivät nämä laatikot. Lupaus oli yksinkertaisuus: pudota LLM ja katso, kuinka se hoitaa kaiken asiakaspalvelusta koodin luomiseen. Ei enää monimutkaisia putkistoja tai hauraita integraatioita. Mutta sisäisten sovellusten rakentamisessa olemme havainneet samanlaista dynamiikkaa tekoälyn kanssa. Agentit tarvitsevat paljon kontekstia, kuten ihminen: miten CRM on rakennettu, mitä syötämme kuhunkin kenttään - mutta syöte on kallista Hungry, Hungry AI -mallissa. Kustannusten vähentäminen tarkoittaa determinististen ohjelmistojen kirjoittamista korvaamaan tekoälyn päättely. Esimerkiksi sähköpostin hallinnan automatisointi tarkoittaa työkalujen kirjoittamista Asana-tehtävien luomiseen ja CRM:n päivittämiseen. Kun työkalujen määrä kasvaa yli kymmenen tai viidentoista työkalun, työkalukutsu ei enää toimi. On aika kehittää klassinen koneoppimismalli työkalujen valitsemiseksi. Sitten on tarkkailtava järjestelmää havaittavuudella, arvioitava sen suorituskykyä ja reititettävä oikeaan malliin. Lisäksi on olemassa kokonainen ohjelmistoluokka, joka varmistaa, että tekoäly tekee sen, mitä sen pitääkin. Suojakaiteet estävät epäasialliset vastaukset. Nopeuden rajoittaminen estää kustannuksia karkaamasta käsistä, kun järjestelmä menee sekaisin. Tiedonhaku (RAG - haku augmented generation) on olennainen osa kaikkia tuotantojärjestelmiä. Sähköpostisovelluksessani käytän LanceDB-vektoritietokantaa löytääkseni kaikki tietyn lähettäjän sähköpostit ja vastatakseni heidän sävyään. On olemassa muitakin tekniikoita tiedonhallintaan graafisten RAG:ien ja erikoistuneiden vektoritietokantojen ympärillä. Viime aikoina muistista on tullut paljon tärkeämpää. Tekoälytyökalujen komentoriviliittymät tallentavat keskusteluhistorian merkintätiedostoina. Kun julkaisen kaavioita, haluan Theory Ventures -kuvatekstin oikeaan alakulmaan, tietyn fontin, värit ja tyylit. Ne kaikki on nyt tallennettu .gemini- tai .claude-tiedostoihin sarjaan peräkkäisiä hakemistoja. ...