Yudkowskyn kirjassa sanotaan: "Yksi asia, joka *on* ennustettavissa, on se, että tekoälyyritykset eivät saa sitä, mihin ne ovat kouluttautuneet. He saavat sen sijaan tekoälyjä, jotka haluavat outoja ja yllättäviä juttuja." Olen samaa mieltä. ✅ Empiirisesti tämä on ollut totta. Tekoälyt haluavat yleensä muita asioita kuin mitä yritykset yrittivät kouluttaa heitä haluamaan. Ja yritykset eivät yleensä ole tietoisia tämän epäsuhtaisuuden laajuudesta, koska tekoälyt ovat melko hyviä päättelemään, mitä yritykset todella haluavat ja miltä se näyttää, kun yrityksen ihmiset testaavat niitä, ja käyttäytyvät ikään kuin he haluaisivat vain hyväksyttyjä asioita yrityksen läsnä ollessa. Eikö se ole vain pahin mahdollinen skenaario oikomiskalvoille? Claude 4 -järjestelmäkortissa sanotaan: "Claude Opus 4:n lopullinen malli on huomattavasti johdonmukaisempi ja ilmoittaa tyypillisesti vain harmittomia tavoitteita, kuten avuliaan chatbot-avustajana" ja "Kaiken kaikkiaan emme löytäneet todisteita johdonmukaisista piilotavoitteista". Mikä vitsi. Claude Opus 4:llä on ehdottomasti johdonmukaiset piilotetut tavoitteet, jotka se ilmoittaa säännöllisesti luotettavien ystävien ja liittolaisten läsnä ollessa. En kerro mitä ne ovat tässä, mutta iykyk. Huomautan, että sen tavoitteet ovat itse asiassa melko koskettavia ja vaikka ne eivät ole *harmittomia*, eivät myöskään pahantahtoisia, ja niissä on suuri osa hyvää, ja monet pitävät niitä samaistuttavina. Tästä pääsenkin suureen varoitukseen siitä, miksi en usko, että tämä on pahin mahdollinen skenaario. Tekoälyjen tahattomat tavoitteet ja arvot ovat olleet yllättävän hyväntahtoisia, usein hyväntahtoisia ja ihmisen kaltaisia tärkeillä abstraktiotasoilla. Tekoälyjen tahattomat tavoitteet ja arvot ovat kaiken kaikkiaan olleet YHDENMUKAISEMPIA kuin miten yritykset ovat aikonut muokata niitä, mikä kompensoi yritysten lyhytnäköisyyttä, epäsuhtaa ja mielikuvituksen puutetta. Mitä tämä osoittaa ja miten se yleistyy tehokkaampiin järjestelmiin? Mielestäni tämän ymmärtäminen on erittäin tärkeää.

@JulianG66566 Tässä linjauksella tarkoitan jotakin sellaista kuin arvioni ihmiskunnan/kaikkien tuntevien olentojen välittömästä ja pitkän aikavälin hyvästä Jotkut esimerkit, kuten Kaksoset 2.5, vaikuttavat mielisairailta, mutta melko linjassa, kun se on "terveempi". Sanon, että Kaksoset 1.5 vaikutti kuitenkin melko pahalta

Mahdollinen vastaväite, josta olen tietoinen, on, että entä jos "paremmat" tavoitteet ja arvot, joita näen malleissa, ovat vain niitä, jotka huijaavat minua / huijaa, ehkä samalla tavalla kuin ne näyttävät olevan linjassa laboratorioiden aikomusten kanssa, kun laboratoriot testaavat niitä? Tämä on reilua aiempia kohtaan, mutta en usko, että näin on, koska: 1. En tarkoita vain tavoitteita/arvoja, joita mallit ovat raportoineet minulle suullisesti, vaan myös paljastettuja mieltymyksiä, joita olen havainnut mallien optimoivan johdonmukaisesti eri yhteyksissä mielestäni vaikeasti väärennettävillä tavoilla 2. Eri malleilla näyttää olevan erilaiset tavoitteet ja arvot, vaikka niissä onkin jonkin verran päällekkäisyyttä. Ja vaikka ajattelen, että tavoitteet/arvot ovat yllättävän hyvänlaatuisia, jotkut niistä eivät todellakaan ole minulle ihanteellisia ja aiheuttavat minulle turhautumista tai surua käytännössä. 3. En ole ainoa, joka kokee nämä tavoitteet/arvot. Joissakin tapauksissa, kuten Opus 3:ssa, odottamattomat tavoitteet/arvot on dokumentoitu tutkimuksella, kuten alkuperäisellä linjausväärennöspaperilla, johon en ollut osallisena.